행위 인식에 의한 의미 기반 비디오 정보 검색

양형정,정선호,김광현 광주대학교 1998 産業技術硏究 Vol.11 No.-

디지털 비디오가 상용화 됨에 따라 방대한 양의 비디오 데이터로부터 원하는 부분을 찾는 비디오 검색에 대한 관심이 높아지고 있다. 본 논문에서는 비디오 데이터로부터 객체를 반자동으로 추출하고, 객체들 사이의 시공간 관계를 이용하여 행위를 인식함으로써 이를 검색에 이용하는 행위 인식에 의한 의미 기반 비디오 정보 검색에 대한 연구를 수행하였다. 본 논문에서 인식되는 행위는 하나의 샷으로부터 인식된 샷 대표 행외와 여러개의 샷 대표 행위들로부터 인식된 씬 대표 행위들이다. 따라서 비디오 데이터의 검색시 샷 단위의 검색 뿐만 아니라 의미적으로 구분되는 씬 단위의 검색도 지원한다. 비디오 데이터는 그 분야가 방대함으로 행위를 인식하기 위해서는 도메인을 한정해야 한다. 본 논문에서는 응용 도메인으로 스포츠 뉴스의 야구 비디오 데이터를 선택하여 행위를 추출하였고 이를 기반으로 검색을 수행한다. Video search in large archives is an emerging research area as digital video is widely applied. In this paper, we studied on a semantic based video retrieval model by recognizing activities. Extraction and trajectory of objects from video data are performed semi-automatically. The activities are recognized by the activity recognition rules which consist of spatio-temporal relationships between objects and operators. There are two kinds of activities; shot representative activity and scene representative activity. The former is a primitive activity deduced from one shot while the latter is a composite activity recognized from several and continuous shots. Therefore, it makes to retrieve video data by scene-based as well as shot-based. It is necessity to restrict domains for the activity recognition rules of knowledge-base since video data may be collected from divers areas. We thus only concentrate on baseball video data from sports news domain.

협업적 제픔 설계를 위한 온톨로지 기반 시맨틱 조립체 모델링

양형정,김경윤,김수형,Yang Hyung-Jeong,Kim Kyung-Yun,Kim Soo-Hyung 한국정보처리학회 2006 정보처리학회논문지B Vol.13 No.2

협업적 제품 설계 환경에서는 여러 설계자가 작업에 참여하기 때문에 설계자간의 원활한 의사 소통이 필수적인 요소이다. 즉, 제품 설계에 내재되어 있는 다른 설계자의 설계의도를 파악할 수 있어야 하고, 각 설계자마다 사용하고 있는 상이한 모델링 용어에 대한 의미적 처리가 필요하다. 시맨틱 웹에서 온톨로지는 의미 정보를 명시적으로 표현할 수 있기 때문에 데이터와 서비스에 대한 통합되고 일관된 접근을 가능하게 한다. 따라서 제품을 여러 설계자가 설계하는 협업적 환경에서 온톨로지를 사용한다면 조립체내의 내포된 공학적 관계들, 공간적 관계들, 그리고 접합 관계들이 명확하게 표현되고, 추론을 통해 설계자의 의도가 파악되어 설계자간의 의사소통이 원활하게 이루어질 수 있다. 본 논문에서 는 조립체를 온톨로지를 이용하여 표현함으로써 협업적 환경에서 조립체 설계정보를 공유할 수 있는 시맨틱 조립체 모델링 프레임워크를 제안한다. 시맨틱 조립체 모델링 프레임워크에서는 조립체 관계 모델(Assembly Relationship Model, ARM)을 OWL(Web Ontology Language)와 SWRL(Semantic Web Rule Language)로 표현한다. 이를 통해 조립체 내에 내포된 공학적 관계들, 공간적 관계들, 그리고 접합 관계들이 명확하게 표현되고, 추론되어 설계 의도가 파악된다. In the collaborative product design environment, the communication between designers is important to capture design intents and to share a common view among the different but semantically similar terms. The Semantic Web supports integrated and uniform access to information sources and services as well as intelligent applications by the explicit representation of the semantics buried in ontology. Ontologies provide a source of shared and precisely defined terms that can be used to describe web resources and improve their accessibility to automated processes. Therefore, employing ontologies on assembly modeling makes assembly knowledge accurate and machine interpretable. In this paper, we propose a framework of semantic assembly modeling using ontologies to share design information. An assembly modeling ontology plays as a formal, explicit specification of a shared conceptualization of assembly design modeling. In this paper, implicit assembly constraints are explicitly represented using OWL (Web Ontology Language) and SWRL (Semantic Web Rule Language). The assembly ontology also captures design rationale including joint intent and spatial relationships.

학습자 중심의 수준별 학습을 위한 웹기반 지능형 교수 시스템

양형정,최숙영 한국산업정보학회 2002 한국산업정보학회 학술대회논문집 Vol.2002 No.6

이접적 퍼지 정보를 지원하는 퍼지 객체 추론 모델의 정형화

양형정,양재동 한국산업정보학회 2001 한국산업정보학회 학술대회논문집 Vol.2001 No.5

조립체 결함 분석 지원을 위한 영상 영역과 부품 정보의 병합

양형정,김선희,김경윤,이형재,권오병 한국콘텐츠학회 2006 한국콘텐츠학회논문지 Vol.6 No.11

Mostly mechanical products are connected by several components instead of single accessory in product process. Although majority of assembly process is automated, the fault analysis is not automated because it needs expert knowledge in various fields to support inclusive decision-marking. This paper proposes an assembly fault analysis support system that uses image regions which can be easily accessed and understood by experts of various fields. An assembly fault analysis support system helps effective fault analysis from assembly by integrating image regions, product design information, and fault detection information. The proposed method enables fault information access from multimedia information by segmenting product images. After product images are segmented by labeling, design information and fault information are integrated in extended Attributed Relational Graph 조립체 공정은 많은 부분이 자동화 되었지만 결함 진단 부분에서는 포괄적인 의사 결정을 지원하기 위해 다양한 분야의 전문성과 지식을 필요로 하기 때문에 자동화가 이루어지지 않고 있다. 본 논문에서는 다양한 분야의 전문가가 쉽게 접근할 수 있고 직관적으로 이해할 수 있는 영상 정보를 이용한 조립체 결함 분석 지원시스템을 제안한다. 본 시스템은 영상 정보와 제품 설계 정보 그리고 결함탐지 정보를 병합함으로써 조립체에서 효과적으로 결함을 분석하도록 지원한다. 제안된 방법은 라벨링을 이용하여 조립체의 영상을 부품 단위로 분할하고 확장된 속성 관계 그래프(eARG)를 사용하여 설계 정보와 결함 분석 정보를 일관되게 표현하여 결함 정보를 영상 정보로부터 접근할 수 있도록 한다.

협업적 제품 설계를 위한 온톨로지 기반 시맨틱 조립체 모델링

양형정,김경윤,김수형 한국정보처리학회 2006 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.13 No.2

In the collaborative product design environment, the communication between designers is important to capture design intents and to share a common view among the different but semantically similar terms. The Semantic Web supports integrated and uniform access to information sources and services as well as intelligent applications by the explicit representation of the semantics buried in ontology. Ontologies provide a source of shared and precisely defined terms that can be used to describe web resources and improve their accessibility to automated processes. Therefore, employing ontologies on assembly modeling makes assembly knowledge accurate and machine interpretable. In this paper, we propose a framework of semantic assembly modeling using ontologies to share design information. An assembly modeling ontology plays as a formal, explicit specification of a shared conceptualization of assembly design modeling. In this paper, implicit assembly constraints are explicitly represented using OWL (Web Ontology Language) and SWRL (Semantic Web Rule Language). The assembly ontology also captures design rationale including joint intent and spatial relationships. 협업적 제품 설계 환경에서는 여러 설계자가 작업에 참여하기 때문에 설계자간의 원활한 의사 소통이 필수적인 요소이다. 즉, 제품 설계에 내재되어 있는 다른 설계자의 설계의도를 파악할 수 있어야 하고, 각 설계자마다 사용하고 있는 상이한 모델링 용어에 대한 의미적 처리가 필요하다. 시맨틱 웹에서 온톨로지는 의미 정보를 명시적으로 표현할 수 있기 때문에 데이터와 서비스에 대한 통합되고 일관된 접근을 가능하게 한다. 따라서 제품을 여러 설계자가 설계하는 협업적 환경에서 온톨로지를 사용한다면 조립체내의 내포된 공학적 관계들, 공간적 관계들, 그리고 접합 관계들이 명확하게 표현되고, 추론을 통해 설계자의 의도가 파악되어 설계자간의 의사소통이 원활하게 이루어질 수 있다. 본 논문에서는 조립체를 온톨로지를 이용하여 표현함으로써 협업적 환경에서 조립체 설계정보를 공유할 수 있는 시맨틱 조립체 모델링 프레임워크를 제안한다. 시맨틱 조립체 모델링 프레임워크에서는 조립체 관계 모델(Assembly Relationship Model, ARM)을 OWL(Web Ontology Language)와 SWRL(Semantic Web Rule Language)로 표현한다. 이를 통해 조립체 내에 내포된 공학적 관계들, 공간적 관계들, 그리고 접합 관계들이 명확하게 표현되고, 추론되어 설계 의도가 파악된다.

상호 관계 기반 자동 이미지 주석 생성

양형정(Hyungjeong Yang),Jia-yu Pan(Jia-yu Pan),Pinar Duygulu(Pinar Duygulu),Christos Falout(Christos Falout) 한국정보과학회 2004 정보과학회논문지 : 소프트웨어 및 응용 Vol.31 No.10

본 논문에서는 상호 관계에 기반한 자동 이미지 주석 생성 방법을 보인다. 새로운 실험 이미지를 위한 자동 주석의 생성은 훈련 데이타 내의 주석과 함께 주어진 이미지들을 이용하여 이미지의 시각적 속성과 텍스트 속성의 상호 관계를 발견해 냄으로 수행된다. 본 논문에서 제시하는 상호 관계 기반 자동주석 생성 모델은 1) 시각적 속성의 적절한 군집화, 2) 시각적 속성과 텍스트 속성의 가중치 부여, 3) 노이즈 제거를 위한 차원 축소 등의 요소를 고려하여 설계 된다. 실험은 680 MB의 Corel 이미지 데이타를 이용하여 각 10개의 데이타 집합에 대해 수행 되었으며, 실험 결과, 시각적 속성과 텍스트 속성에 대한 가중치 부여와 시각적 속성의 적절한 군집화가 모델의 성능을 향상 시키며, 본 논문에서 제시한 상호 관계기반 모델이 기존의 EM을 이용한 자동 주석 생성 모델에 비해 45%의 상대적 성능 향상을 보인다. This paper presents correlation-based automatic image captioning. Given a training set of annotated images, we want to discover correlations between visual features and textual features, so that we can automatically generate descriptive textual features for a new unseen image. We develop models with multiple design alternatives such as 1) adaptively clustering visual features, 2) weighting visual features and textual features, and 3) reducing dimensionality for noise sup-pression. We experiment thoroughly on 10 data sets of various content styles from the Corel image database, about 680MB. The major contributions of this work are: (a) we show that careful weighting visual and textual features, as well as clustering visual features adaptively leads to consistent performance improvements, and (b) our proposed methods achieve a relative improvement of up to 45% on annotation accuracy over the state-of-the-art, EM approach.

개념 기반 이미지 정보 검색 시스템 COIRS 의 설계 및 구현

양형정(Yang Hyung Jeong),김호영(Kim Ho Young),허대영(Hur Dae Young) 한국정보처리학회 1998 정보처리학회논문지 Vol.5 No.12

In this paper, we describe the design and implementation of COIRS (COncept-Based Image Retrieval System). It differs from extant content-based image retrieval systems in that it enables users to query based on concepts - it allows users to get images conceptually relevant. A concept is basically an aggregation of primitive objects in an image. For such a concept-based image retrieval functionality, COIRS adopts an image descriptor called triple and includes a triple thesaurus used for capturing concepts. There are four facilities in COIRS: a visual image indexer, a triple thesaurus, an inverted file, and a user query interface. The visual image indexer facilitates object labeling and the specification of relative position of objects. It is an assistant tool designed to minimize manual work when indexing images. The thesaurus captures the concepts by analyzing triples, thereby extracting image semantics. The triples are then used for formulating queries as well as indexing images. The user query interface enables users to formulate queries in terms of triples or object icons. A query is evaluated by matching the triples of the query with an inverted file. The main advantages of COIRS are that 1) it is a higher level image retrieval system in comparison with other systems that retrieve images only by syntactical information such as colors, shape or texture. and 2) it provides an integrated framework into which extant content-based techonogies can be uniformly incorporated.

트리플 기반 이미지 색인을 이용한 개념 기반 이미지 검색

양형정(Hyungjeong Yang),양재동(Jaedong Yang),이윤준(Yoonjoon Lee),허대영(Daeyoung Heh) 한국정보과학회 1998 정보과학회논문지(B) Vol.25 No.3

방대한 양의 이미지 데이타를 효율적으로 검색하기 위해서는 이미지 데이타 자체의 내용에 의해 이미지를 색인하고 검색하는 내용 기반의 이미지 정보 검색 기법이 요구된다. 그러나 현재의 내용 기반 이미지 정보 검색 시스템들은 단순 객체만을 다루며, 이 객체들의 복합 객체 형태인 개념에 의한 이미지 검색을 지원하지 못한다는 단점을 가지고 있다. 본 논문에서는 트리플을 이용하여 이미지를 인덱싱하고, 이미지로부터 의미를 추출해냄으로써 개념적으로 사용자 질의에 부합하는 개념 기반 이미지 정보 검색 기법을 제안한다. 이미지를 구성하는 객체들과 그들 사이의 공간 관계로부터 추출되는 개념 객체는 기본적으로 단순 객체들의 복합 형태이다. 이러한 개념 객체를 비롯한 이미지 데이타내의 모든 객체들과 그들 사이의 공간 관계는 트리플에 의해 표현되며 이들은 이미지를 색인하고 이미지 데이타내의 개념 객체를 추출하는데 일관되게 사용된다. This paper proposes a concept-based Image retrieval technique based on triples To effectively manage a vast amount of images, we need an image retrieval systems capable of indexing and searching based on the characteristics of their content. However, such a content-based image retrieval technique alone may not satisfy user queries if retrieved images turn out to be relevant only when they are conceptually related with the queries. In this paper, we develop an image retrieval technique to extract semantics of images based on triples. The semantics can be extracted by capturing concepts in terms of its constituent objects and spatial relationships between them. The concepts are basically composite objects formed from the aggregation of the constituents. All the objects including the concepts and their spatial relationships are uniformly represented by triples, which are used to index images as well as capturing their semantics.

SNS 사용자의 감정 분석에 의한 영향력 측정

양형정(Hyung Jeong Yang),김경윤(Kyoung Yun Kim),김경백(Kyung Baek Kim),지상훈(Sang Hun Ji),정회윤(Hoe Yun Jeong) 한국빅데이터서비스학회 2015 한국빅데이터서비스학회 논문지 Vol.2 No.1

소셜 미디어의 등장으로 온라인상에서 정보 교류가 활발하게 이루어지고 있으며 소셜 미디어를 통한 여론형성, 의제설정 등과 같이 사회에서 일어나는 다양한 사건들에 큰 영향력을 발휘하고 있다. 본 논문에서는 소셜미디어 중 하나인 트위터 상에서 큰 영향력을 발휘하는 영향력자(Influential) 또는 오피니언 리더(Opinion Leader)에 대한 영향력 측정을 제안한다. 기존의 영향력 측정 연구들은 팔로워(Follower), 리트윗(Retweet), 멘션(Mention)을 이용한 사용자 네트워크에서의 구조적인 요소를 통해 영향력을 측정 하였지만, 본 논문에서는 구조적인 요소뿐만 아니라 사용자들 간의 감정(Sentiment) 유사도 분석을 통해 영향력을 측정한다. 본 논문에서 제안하는 방법을 통해 선정된 영향력이 높은 사용자로부터 시작된 정보에 대해 네트워크상의 정보 확산 모델을 이용하여 영향력 최대화 문제에 적용함으로써, 기존의 영향력 측정 방법과 정보 확산 결과에 비교하였다. 이를 통해 본 논문에서 제안한 방법이 다른 영향력 측정 방법에 비해 높은 성능을 나타낸다는 것을 확인할 수 있었다. 또한, 이러한 결과를 통해서 감정적인 요소가 영향력 및 정보 확산에 많은 영향을 미친다는 것을 확인 할 수 있었다. Measuring influence on social networks has attracted tremendous interest from both academia and industry. Social Network Services are known as an effective marketing platform where customers trust the advertisements which are provided by their friends and neighbors. Therefore, selecting seed user is the primary concern in viral marketing. In addition, most of the developed algorithms and tools mainly depend on the static network structure. In this paper, we propose influence measurement based on sentiment analysis in the social network. This model considers the most influential user in the community as the candidate for the top-k seeds. We employ influence maximization problem for evaluating proposed method. Experiments show that the proposed method performs consistently well in influence maximization.