드라마 동영상의 스토리 분석을 위한 계층적 은닉변수 모델

이바도(Bado Lee),석호식(Ho-Sik Seok),장병탁(Byoung-Tak Zhang) 한국정보과학회 2011 한국정보과학회 학술발표논문집 Vol.38 No.2B

통계기법을 이용한 기계학습 연구가 활발히 진행되면서 시간 정보가 포함된 동적 스트림(stream) 분석에 기계학습 기법을 적용하려는 시도가 주목 받고 있다. 특히 이미지 텍스트 음성 등 다양한 특성이 결합된 멀티모달 동영상을 지능적으로 분석하여 스토리 구간을 유추하려는 시도가 다양한 연구자에 의해 진행되어왔다. 그러나 기존 연구는 동일 이미지 반복이라는 사전 지식을 이용하여 이미지 구간을 분리하였으며 각 스토리 구간을 특정 짓는 이미지/텍스트의 분포가 뚜렷하게 구분되는 데이터를 대상으로 연구를 진행했기 때문에 다양한 동영상 데이터에 적용하기에는 적합하지 않았다. 본 논문에서는 이미지 반복 등의 사전 지식을 이용하지 않고 비디오 스트림을 설명할 수 있는 생성 모델(Generative Model)을 구성한 후 구성된 모델이 관찰한 장면(scene)을 만들어 낼 수 있는 가능성(Likelihood)에 기반 하여 주어진 드라마의 스토리 구간을 추정할 수 있는 방법을 소개한다. 제안 방법은 드라마 스트림에 존재하는 스토리 구간의 은닉구조(Latent Structure)를 가정한 후 해당 구간의 이미지 및 텍스트 분포를 추정하는 방법으로 첫째 기존 방법과 달리 스토리 구간 분포를 가정하지 않고도 여러 개의 스토리 구간을 구분할 수 있으며 둘째 분석 대상 드라마 스트림이 온라인으로 입력되는 상황을 처리할 수 있고 셋째 분석 대상 데이터에 대한 사전 지식이 필요하지 않다는 장점이 있다. 본 논문에서는 특히 각 스토리 구간의 은닉 구조 설명 모수 비교가 어렵다는 난점 해결을 위해 스토리 구간의 은닉 구조가 주어졌을 때 데이터를 설명할 수 있는 가능성을 계산하는 방법을 이용하여 스토리 구간을 추정하는 방법을 제안한다. 토픽이 스팬(span)하는 공간이 스토리를 설명한다는 가정 하에 새로운 데이터를 설명하는 스토리 공간이 기존의 공간과 같지 않으면 스토리가 변화했다고 가정하였다. 본 논문에서는 드라마 동영상에 제안 방법을 적용하여 획득된 추정 결과를 인간 실험자의 스토리 구분 결과와 비교하여 제안 방법의 성능을 실험적으로 제시하였다.

드라마 동영상의 스토리 분석을 위한 계층적 은닉변수 모델

이바도(Bado Lee),석호식(Ho-Sik Seok),장병탁(Byoung-Tak Zhang) 한국정보과학회 2012 정보과학회 컴퓨팅의 실제 논문지 Vol.18 No.5

통계기법을 이용한 기계학습 연구가 활발히 진행되면서 시간 정보가 포함된 동적 스트림(stream) 분석에 기계학습 기법을 적용하려는 시도가 주목 받고 있다. 그러나 기존 연구는 동일 이미지 반복이라는 사전 지식을 이용하여 이미지 구간을 분리하였으며 각 스토리 구간을 특정짓는 이미지/텍스트의 분포가 뚜렷하게 구분되는 데이터를 대상으로 하였기에, 다양한 동영상 데이터에 적용하기에는 적합하지 않았다. 본 논문에서는 이미지 반복 등의 사전 지식을 이용하지 않고 비디오 스트림을 설명할 수 있는 생성모델(Generative Model)을 구성한 후 구성된 모델이 관찰한 장면(frame)을 만들어 낼 수 있는 가능성(Likelihood)에 기반 하여 주어진 드라마의 스토리 구간을 추정할 수 있는 방법을 소개한다. 본 논문에서 제안하는 방법은 각 스토리 구간의 은닉 구조 설명 모수 비교가 어렵다는 난점 해결을 위해 스토리 구간의 은닉 구조가 주어졌을 때 새로운 데이터의 설명 가능성을 계산하는 방법을 활용한다는 특징이 있다. 우리는 LDA(Latent Dirichlet Allocation) 방법론을 이용하여 스토리 구간 모델을 생성하였으며, 드라마 동영상에 제안 방법을 적용하여 추정한 결과를 인간 실험자의 스토리 구분 결과와 비교하여 제안 방법의 성능을 실험적으로 제시하였다. With the advancement of statistical machine learning, various machine learning methods have been applied to dynamic analysis of multimodal streams. However, previous studies have limitations for tackling various real-world streams because they focus on utilizing very limited characteristics of certain domains such as repetition of fixed frames. In this paper, we introduce a generative model-based segmenting method in which a story segment of a video stream is estimated through the likelihood of a given model to explain incoming data without requiring prior knowledge. There exists a profound question of how to compare each segment's latent structure parameters. In the proposed model, this difficulty is circumvented by computing likelihood of a new frame given a story model. We apply the proposed method to distinguishing several story segments in a TV drama episode. We employ LDA (Latent Dirichlet Allocation) framework for generating a story segment model. The proposed method is validated by comparing its results with those of human estimation.

단어간 거리 관계를 고려한 랜덤하이퍼그래프 기반 언어 모델의 문장 생성 능력

이바도(Bado Lee),석호식(Ho-Sik Seok),장병탁(Byung-Tak Zhang) 한국정보과학회 2010 한국정보과학회 학술발표논문집 Vol.37 No.2C

랜덤하이퍼그래프 모델은 다양한 오더의 하이퍼에지 생성을 통해 유연하게 패턴을 표현할 수 있으므로 언어에 내재되어 있는 패턴 학습에 매우 유용하다. 기존의 랜덤하이퍼그래프 기반 언어모델에서는 패턴의 존재는 잘 발견하였으나, 패턴을 구성하는 단어간 거리를 고려하지 않았기에, 언어 모델의 현실성이 부족하였다[1,2]. 본 논문에서는 단어간 거리 관계를 고려하도록 개선된 랜덤하이퍼그래프 기반의 언어 모델을 소개한다. 제안 방법론은 영어 TV 드라마의 대본을 통해 언어 모델을 구성하였으며, 언어 모델이 생성한 문장의 문법적 타당성을 확인하여 제안 모델을 평가하였다. 학습이 진행됨에 따라 문법적 타당성이 높아지는 것을 확인할 수 있었으며, 동시에 의미적 타당성도 증가하는 것을 확인할 수 있었다.

토픽 모델링을 이용한 이미지의 효율적인 표현방법

이바도(Bado Lee),장병탁(Byoung-Tak Zhang) 한국정보과학회 2011 한국정보과학회 학술발표논문집 Vol.38 No.1C

시각 피처를 사용한 이미지 표현은 이미지 검색 분야에서 이미 광범위하게 사용되고 있다. 특히 이미지 자체에 태깅이 되어있지 않거나 다른 추가 정보가 없는 경우에는 이미지 콘텐츠 자체의 정보만으로 검색하기 위해서는 이러한 전처리가 필수적이다. 이미지로 부터 얻어진 시각적 피처들이 시각 단어로 사용되기 위해서는 k-means 와 같은 군집 알고리즘을 통한 시각적 피처의 양자화를 위한 전처리가 필요한데, 시각 단어의 개수 k를 정하는데 모호함이 있다. 본 논문에서는 임의의 k를 사용하더라도, 대표적 토픽 모델링 기법인 LDA (Latent Dirichlet Allocation) 를 사용하여 데이터의 차원을 줄이게 되면 여러개의 시각적 단어들의 조합을 각각의 토픽이 나타낼 수 있게 됨을 이미지 검색 성능으로써 확인해 보고, 이러한 방법을 사용하면 표현형의 사이즈를 줄일 수 있고, 검색에 있어서도 이미지의 유사성을 더욱 효과적으로 표현할 수 있음을 확인해 본다.

Bi-Source 토픽 모델 기법을 이용한 기사-상품 연관 검색

김병희(Byoung-Hee Kim),이바도(Bado Lee),하성종(Seong Jong Ha),조남익(Nam Ik Cho),장병탁(Byoung-Tak Zhang) 한국정보과학회 2011 정보과학회 컴퓨팅의 실제 논문지 Vol.17 No.4

디지털 컨버전스가 진행됨에 여러 모달리티가 혼재된 형태의 데이터가 쏟아져 나오고 있다. 사용자 중심의 검색 및 추천 서비스를 위해서는 이러한 멀티모달 데이터에서의 정보 추출 및 연관성 분석 기법이 필수적이다. 본 논문에서는 다양한 출처에서 생성되는 데이터 간의 연관성 모델링 기법을 제시하고, 온라인상에서 기사와 상품 간의 연관 검색을 사진 정보만으로 실행한 사례를 보인다. 연관성 모델링 기법으로는 LDA(Latent Dirichlet Allocation) 기반의 토픽 모델링 기법을 확장하여 Bi-Source 토픽 모델 기법(BSTM)을 제시한다. 자체 구축한 한국어 잡지 기사 사진 및 쇼핑몰 상품의 사진 데이터에 BSTM을 적용하여, 기사와 상품 간 공통의 컨텍스트를 표현하는 토픽을 추출하고 두 출처에서 얻은 사진 간의 연관관계를 토픽 분포의 유사도를 기반으로 계량화할 수 있음을 보인다. 연관검색 성능 평가를 위해 상품 사진 질의에 대해 유사도를 기준으로 선별한 상위 4~6개의 상품의 카테고리를 확인한 결과 50~60%대의 적중률로 동일 카테고리 상품이 검색되었으며, 기사 사진을 질의로 한 관련 상품 검색 테스트 결과 다양한 잠재적 연관성이 반영된 검색 결과를 얻을 수 있었다. With the progress of digital convergence, multimodal data is generated in torrents. User-centric retrieval and recommendation services in this environment demand methods for multimodal information retrieval and associative analysis. In this paper, an associativity modeling method is presented for datasets from various sources and results are shown in online article-goods associative search just based on images. The model is named as a Bi-Source Topic Model (BSTM), which is an extension of LDA (latent Dirichlet allocation). An image dataset is constructed with pictures in Korean magazines and an online shopping mall. With BSTM, we can quantify associativities between images from magazine and mall based on the similarity of topic proportions in images. With a testset of goods images for evaluation, it is shown that proposed method results in about 60% success rate based on category information of goods. Given article pictures as queries, various goods are retrieved which contain interesting semantic relations.

멀티채널 기반 드라마 동영상 의미 분절화를 위한 비모수 베이지안 방법

석호식(Ho-Sik Seok),이바도(Bado Lee),장병탁(Byoung-Tak Zhang) 한국정보과학회 2012 한국정보과학회 학술발표논문집 Vol.39 No.1B

본 논문에서는 드라마 동영상의 의미 분절화(Semantic segmentation)를 위한 멀티 채널 기반 비모수적 베이지만 방법론을 소개한다. 기존 방법론은 매우 한정적인 특징만을 이용하여 분절화를 시도하거나 이미지 채널이나 오디오 채널과 같은 단일 채널에서만 유효한 방법론을 이용하여 데이터 분석을 시도하였기에, TV 드라마와 같이 예측할 수 없는 변화를 보여주는 스트림 데이터에 적용하기에는 어려움이 많았다. 이와 같은 단점을 극복하기 위해 우리는 주어진 동영상을 단일 모달리티의 채널로 분할한 후 각 채널 별로 분절화를 시도하고 각 채널의 분절 결과를 동적으로 결합하여 주어진 동영상에서의 의미 분절화를 근사하는 방법을 개발하였다. 제안 방법은 실제 TV 동영상의 의미 분절화에 적용되었으며 인간 평가자에 의한 의미 변화 구간과의 비교를 통해 그 성능을 확인하였다.

Bi-Source 토픽 모델 기법을 이용한 기사-상품 연관 검색

김병희(Byoung-Hee Kim),이바도(Bado Lee),하성종(Seong Jong Ha),조남익(Namik Cho),장병탁(Byoung-Tak Zhang) 한국정보과학회 2010 한국정보과학회 학술발표논문집 Vol.37 No.2A

잡지기사 관련 상품 연계 추천 서비스를 위한 하이퍼네트워크 기반의 상품이미지 자동 태깅 기법

하정우(Jung-Woo Ha),김병희(Byoung-Hee Kim),이바도(Bado Lee),장병탁(Byoung-Tak Zhang) 한국정보과학회 2010 정보과학회 컴퓨팅의 실제 논문지 Vol.16 No.10

잡지기사 관련 상품 연계 추천 서비스는 온라인 상에서 잡지 기사의 컨텍스트를 반영하여 상품을 추천하는 서비스이다. 현재 이러한 서비스는 잡지기사와 상품에 부여되어 있는 태그 간의 유사성을 기준으로 한 추천 기술에 의존하고 있으나, 태그 부여 비용과 추천의 정확도가 높지 않은 단점이 있다. 본 논문에서는 잡지 기사 컨텍스트 관련상품연계 추천 기술의 한 요소로서 상품이미지 정보로부터 상품의 종류를 자동으로 분류하고 이를 상품의 태그로 활용하는 방법을 제안한다. 이미지에서 추출한 시각단어(visual word)와 상품 종류 간의 고차 연관관계를 하이퍼 네트워크 기법을 통해 학습하고, 학습된 하이퍼네트워크를 이용하여 상품 이미지에 한 개 이상의 태그를 자동으로 부여한다. 실제 온라인 쇼핑몰에서 사용되는 10가지 종류의 상품 1,251개의 이미지 데이터를 기반으로, 하이퍼네트워크를 이용한 상품이미지 자동 태깅 기법이 다른 기계학습 방법과 비교하여 경쟁력 있는 성능을 보여줌과 동시에, 복수개의 태그 부여를 통해 상품 이미지 태깅의 정확성이 향상됨을 보인다. Article-related product recommender system is an emerging e-commerce service which recommends items based on association in contexts between items and articles. Current services recommend based on the similarity between tags of articles and items, which is deficient not only due to the high cost in manual tagging but also low accuracies in recommendation. As a component of novel article-related item recommender system, we propose a new method for tagging item images based on pre-defined categories. We suggest a hypernetworkbased algorithm for learning association between images, which is represented by visual words, and categories of products. Learned hypernetwork are used to assign multiple tags to unlabeled item images. We show the ability of our method with a product set of real-world online shopping-mall including 1,251 product images with 10 categories. Experimental results not only show that the proposed method has competitive tagging performance compared with other classifiers but also present that the proposed multi-tagging method based on hypernetworks improves the accuracy of tagging.

잡지기사 관련 상품 연계 추천 서비스를 위한 하이퍼네트워크 기반의 상품이미지 자동 태깅 기법

하정우(Jung-Woo Ha),김병희(Byoung-Hee Kim),이바도(Bado Lee),장병탁(Byoung-Tak Zhang) 한국정보과학회 2010 한국정보과학회 학술발표논문집 Vol.37 No.1A