하이퍼네트워크와 마코프 랜덤 필드와의 연관성 : 상태공간에 대한 관계와 변환방법

허민오(Min-Oh Heo),Dominik Jain,Michael Beetz,장병탁(Byoung-Tak Zhang) 한국정보과학회 2010 한국정보과학회 학술발표논문집 Vol.37 No.2C

하이퍼네트워크 모델은 학습된 데이터 인스턴스를 회상(Recall) 하는 문제에 적합한 분산형 확률기반 연상 메모리로 정의될 수 있다. 이 모델은 회상 문제뿐만 아니라 분류 문제에도 폭넓게 적용되고 있으나, 무감독 학습에 쓰였던 파라미터 학습 방법[3]은 패턴의 빈도에 기반하였기 때문에 학습된 확률분포가 왜곡될 수 있음을 발견하였다. 이에 본고에서는 확률분포 학습 과정에서 문제가 발생하는 경우를 보이고, 마코프 랜덤 필드와 하이퍼네트워크 간의 단사함수적 연관성을 밝힌 후, 하이퍼네트워크와 마코프 랜덤필드 간에 변환하는 방법을 설명하고자 한다. 두 모델이 학습한 분포의 상태공간은 포함관계를 가지기 때문에, 학습된 하이퍼네트워크 모델을 마코프 랜덤 필드로 가져와 사용할 수 있고, 제약조건 하에서 학습된 마코프 랜덤 필드 모델을 하이퍼네트워크로 가져올 수도 있다. 이 연관성은 MRF와 HN 상호 간에 개발되어온 학습 기법들을 공유할 수 있다는 점에서 매우 고무적이다. 상기 언급한 분포학습 상의 왜곡을 방지하기 위해, 확률 그래프 모델의 파라미터 학습에 MRF 기법을, 구조학습에 HN 기법을 적용함으로써 상호보완이 가능할 것이다.

연속 이벤트 임베딩을 통한 유아용 비디오 스토리 학습 기법

허민오(Min-Oh Heo),김경민(Kyung-Min Kim),장병탁(Byoung-Tak Zhang) 한국정보과학회 2016 한국정보과학회 학술발표논문집 Vol.2016 No.12

ViStoryNet: 비디오 스토리 재현을 위한 연속 이벤트 임베딩 및 BiLSTM 기반 신경망

허민오(Min-Oh Heo),김경민(Kyung-Min Kim),장병탁(Byoung-Tak Zhang) 한국정보과학회 2018 정보과학회 컴퓨팅의 실제 논문지 Vol.24 No.3

본 고에서는 비디오로부터 coherent story를 학습하여 비디오 스토리를 재현할 수 있는 스토리 학습/재현 프레임워크를 제안한다. 이를 위해 연속 이벤트 순서를 감독학습 정보로 사용함으로써 각 에피소드들이 은닉 공간 상에서 궤적 형태를 가지도록 유도하여, 순서정보와 의미정보를 함께 다룰 수 있는 복합된 표현 공간을 구축하고자 한다. 이를 위해 유아용 비디오 시리즈를 학습데이터로 활용하였다. 이는 이야기 구성의 특성, 내러티브 순서, 복잡도 면에서 여러 장점이 있다. 여기에 연속 이벤트 임베딩을 반영한 인코더-디코더 구조를 구축하고, 은닉 공간 상의 시퀀스의 모델링에 양방향 LSTM을 학습시키되 여러 스텝의 서열 데이터 생성을 고려하였다. ‘뽀롱뽀롱 뽀로로’ 시리즈 비디오로부터 추출된 약 200 개의 에피소드를 이용하여 실험결과를 보였다. 실험을 통해 에피소드들이 은닉공간에서 궤적 형태를 갖는 것과 일부 큐가 주어졌을 때 스토리를 재현하는 문제에 적용할 수 있음을 보였다. A video is a vivid medium similar to human’s visual-linguistic experiences, since it can inculcate a sequence of situations, actions or dialogues that can be told as a story. In this study, we propose story learning/regeneration frameworks from videos with successive event order supervision for contextual coherence. The supervision induces each episode to have a form of trajectory in the latent space, which constructs a composite representation of ordering and semantics. In this study, we incorporated the use of kids videos as a training data. Some of the advantages associated with the kids videos include omnibus style, simple/explicit storyline in short, chronological narrative order, and relatively limited number of characters and spatial environments. We build the encoder-decoder structure with successive event order embedding, and train bi-directional LSTMs as sequence models considering multi-step sequence prediction. Using a series of approximately 200 episodes of kids videos named ‘Pororo the Little Penguin’, we give empirical results for story regeneration tasks and SEOE. In addition, each episode shows a trajectory-like shape on the latent space of the model, which gives the geometric information for the sequence models.

확률 그래프 모델을 이용한 스마트폰 사용자의 이동경로 학습 및 실시간 예측 기법

허민오(Min-Oh Heo),강명구(Myunggu Kang),임병권(Byoung-Kwon Lim),황규백(Kyu-Baek Hwang),박영택(Young-Tack Park),장병탁(Byoung-Tak Zhang) 한국정보과학회 2012 정보과학회논문지 : 소프트웨어 및 응용 Vol.39 No.6

스마트폰은 위치, 가속도, 소리를 측정할 수 있는 센서들을 탑재하고 있으며, 사용자가 늘 휴대하려는 기기라는 특성을 지닌다. 이러한 센서 정보들을 기록하여 만든 데이터 집합은 스마트폰 사용자의 일상적인 행동패턴을 포함하게 되며, 개인화된 모델링에 적용할 수 있다. 이에, 본 고에서는 동적 베이지안망(dynamic Bayesian network)과 Rao-Blackwellized particle filtering(RBPF)를 이용하여 관측된 센서값을 기준으로 현재 사용자가 방문하려는 장소 및 이용할 경로를 실시간으로 예측하는 방법과 모델 학습방법을 제시하고자 한다. 이를 위하여 64일 동안 GPS, 가속도 센서, 행동 인지기 데이터를 1초 간격으로 수집하여, 주요 방문장소 및 경로를 추출하고, 예측을 시도하였다. 이로부터, 제시한 모델이 사용자의 의도를 나타내고 있음을 확인하였다. Smartphones are equipped with a rich set of embedded sensors such as accelerometer, GPS, digital compass, microphone and camera. And most smartphone users are carrying them outdoor at all times. Sensor-logged datasets contain user-specific activity patterns, which enable modeling personalized usual lives. Here, we propose a real-time route inference and learning method using dynamic Bayesian networks (DBNs) and Rao-Blackwellized particle filtering (RBPF) given sequential observed values. For experimental verification, we gathered personal sensor data of GPS, accelerometer and action recognizer for 64 days and extracted significant places and routes from them. And we predicted traveling destinations and routes probabilistically. The experimental results showed that the proposed model represents the intention of our subject properly.

확률 그래프 모델을 이용한 스마트폰 사용자의 이동경로 학습 및 실시간 예측 기법

허민오(Min-Oh Heo),강명구(Myunggu Kang),임병권(Byoung-Kwon Lim),황규백(Kyu-Baek Hwang),박영택(Young-Tack Park),장병탁(Byoung-Tak Zhang) 한국정보과학회 2011 한국정보과학회 학술발표논문집 Vol.38 No.2B

스마트폰은 위치 가속도 소리를 측정할 수 있는 센서들을 탑재하고 있으며 사용자가 늘 휴대하려는 기기라는 특성을 지닌다. 이러한 센서 정보들을 기록하여 만든 데이터 집합은 스마트폰 사용자의 일상적인 행동패턴을 포함하게 되며 개인화 된 모델링에 적용할 수 있다. 이에 본 고에서는 동적 베이지안망(Dynamic Bayesian Network)과 Rao-Blackwellized Particle Filtering (RBPF)를 이용하여 관측된 센서값을 기준으로 현재 사용자가 방문하려는 장소 및 이용할 경로를 실시간으로 예측하는 방법과 모델 학습방법을 제시하고자 한다. 이를 위하여 64 일 동안 GPS 가속도 센서 행동 인지기 데이터를 1초 간격으로 수집하여 주요 방문장소 및 경로를 추출하고 예측을 시도하였다. 이로부터 제시한 모델이 사용자의 의도를 나타내고 있음을 확인하였다.

하이퍼네트워크 모델을 이용한 비전-언어 크로스모달 연관정보 추출

허민오(Min-Oh Heo),하정우(Jung-Woo Ha),장병탁(Byoung-Tak Zhang) 한국HCI학회 2009 한국HCI학회 학술대회 Vol.2009 No.2

하나의 컨텐츠를 위해 동영상, 이미지, 소리, 문장과 같은 하나 이상의 모달리티로 전달하는 멀티모달 데이터가 증가하고 있다. 이러한 형태의 자료들은 잘 정의되지 않은 형태를 주로 가지기 때문에, 모달리티 간의 정보가 명백히 표현되지 못하는 경우가 많았다. 그래서, 본 연구에서 저자들은 자연계를 다루는 다큐멘터리 동영상 데이터를 이용하여 비전-언어 간의 상호 연관정보인 크로스모달 연관정보를 추출하고 분석하는 방법을 제시하였다. 이를 위해 정글, 바다, 우주의 세 가지 주제로 구성된 다큐멘터리로부터 이미지와 자막의 조합으로 이루어진 데이터를 모은 후, 그로부터 시각언어집합과 문장언어집합을 추출하였다. 분석을 통하여, 이 언어집합들간의 상호 크로스 모달 연관정보를 통해 생성된 다른 모달리티 데이터가 의미적으로 서로 관련이 있음을 확인할 수 있었다. Multimodal data to have several modalities such as videos, images, sounds and texts for one contents is increasing. Since this type of data has illdefined format, it is not easy to represent the crossmodal information for them explicitly. So, we proposed new method to extract and analyze vision-language crossmodal association information using the documentaries video data about the nature. We collected pairs of images and captions from 3 genres of documentaries such as jungle, ocean and universe, and extracted a set of visual words and that of text words from them. We found out that two modal data have semantic association on crossmodal association information from this analysis.

스트림 데이터 학습을 위한 예측적 컨볼루션 신경망

허민오(Min-Oh Heo),장병탁(Byoung-Tak Zhang) 한국정보과학회 2016 정보과학회 컴퓨팅의 실제 논문지 Vol.22 No.11

인터넷 상 데이터와 스마트 디바이스가 증가함에 따라 순차적으로 유입되는 스트림 형식의 데이터가 늘어나고 있다. 잠재적인 빅데이터인 스트림 데이터를 다루기 위해서는 온라인 학습이 가능해야 한다. 이에 본 고에서는 스트림 데이터 학습을 위한 새로운 모델인 예측적 컨볼루션 신경망과 온라인 학습방법을 제안한다. 이 모델은 탐지와 풀링을 반복하는 컨볼루션 연산을 통해 탐지 패턴을 계층화하여 상위계층이 될수록 긴 길이의 패턴의 정보를 다루도록 한다. 본 모델의 기초적 검증을 위해 스마트폰으로 2달간 수집한 GPS 데이터를 이산화하여 관측데이터로 삼았다. 이를 제안모델을 통해 학습하여 계층을 따라 추상화된 정보로부터 복원한 데이터와 관측데이터를 비교하여, 긴 시간의 패턴을 다루면서도 관측 수준의 데이터를 복원하는 것을 확인하였다. As information on the internet and the data from smart devices are growing, the amount of stream data is also increasing in the real world. The stream data, which is a potentially large data, requires online learnable models and algorithms. In this paper, we propose a novel class of models: predictive convolutional neural networks to be able to perform online learning. These models are designed to deal with longer patterns as the layers become higher due to layering convolutional operations: detection and max-pooling on the time axis. As a preliminary check of the concept, we chose two-month gathered GPS data sequence as an observation sequence. On learning them with the proposed method, we compared the original sequence and the regenerated sequence from the abstract information of the models. The result shows that the models can encode long-range patterns, and can generate a raw observation sequence within a low error.

다차원 스트림 데이터의 온라인 점진적 학습을 위한 순차적 예측 모델

허민오(Min-Oh Heo),이상우(Sang-Woo Lee),장병탁(Byoung-Tak Zhang) 한국정보과학회 2013 정보과학회 컴퓨팅의 실제 논문지 Vol.19 No.8

실생활 속에서 존재하는 다양한 센서 데이터 스트림은 실시간으로 끊임없이 유입되면서도 장기적으로 분포가 변할 수 있는 특성을 지닌다. 이러한 데이터의 학습에는 점진적인 학습을 수행하면서도 동시에 순차적 예측이 가능한 모델을 필요로 한다. 이에 따라, 본 고에서는 다차원 스트림 데이터를 위한 시계열 예측을 다루는 새로운 모델을 제안한다. 이 모델은 순차적인 정보를 지닌 패턴들의 집합과 해당 패턴들이 나타난 빈도를 이용하여 표현되며, 이를 기반으로 시계열 예측을 수행한다. 본 모델의 타당성을 평가하기 위해, 분포를 아는 문자서열을 생성하여 조건부 확률분포가 학습됨을 보였다. 또한, 스마트폰 내 GPS 센서를 이용하여 수집한 실제 사용자의 이동 데이터를 이산화하여 이제까지 이동해온 도로를 통해 다음에 이동할 도로를 예측하는 문제를 해결하고, 그 분석 결과를 통해 본 모델의 특성을 실험적으로 확인하였다. Data streams from real-world sensors inherently have features of open-ended inflow and of changeable distribution in the long term (e.g., concept drift). To learn these data, we need sequential prediction models learnable online incrementally. Here, we propose novel models for multidimensional time-series data stream. The models are represented with a set of sequential patterns and the corresponding frequencies, and perform probabilistic sequential prediction tasks based on them. As model regularization, the maximum number of patterns is able to be limited. To validate the learning methods, we show that they successfully learn conditional distributions with random generated strings. Moreover, next-position prediction task also performed using street sequences from GPS sensors embedded in smartphones. From them, we validate the characteristics of the model experimentally.

ViStoryNet: 비디오 스토리 재현을 위한 연속 이벤트 임베딩 및 BiLSTM 기반 신경망

허민오(Min-Oh Heo),김경민(Kyung-Min Kim),장병탁(Byoung-Tak Zhang) 한국정보과학회 2017 한국정보과학회 학술발표논문집 Vol.2017 No.06

은닉 확률 라이브러리 모델에서의 조건부 확률의 계산

허민오(Min-Oh Heo),장병탁(Byoung-Tak Zhang) 한국정보과학회 2006 한국정보과학회 학술발표논문집 Vol.33 No.1

확률 라이브러리 모델(Probabilistic Library Model)은 DNA컴퓨팅 방법론에 기반하여, 라이브러리를 구성하는 원소들의 빈도를 이용하여 결합확률분포를 표현하고자 하는 모델이다. PLM에서 결합확률분포 외에도 조건부 확률을 계산하는 방법이 필요해짐에 따라, 본 논문에서는 in-vitro에서 DNA를 이용하여 임의의 조건부 확률을 계산하는 방법으로 은닉 확률라이브러리모델(Latent Probabilistic Library Model)을 이용한 방법을 제시하고, 이전 논문에서 미비한 부분인 알고리즘의 타당성 증명을 보완하였다. 또한, 시뮬레이션을 통하여 실제 확률과 1% 이내로 동일한 결과를 얻었다.