볼쯔만 머신을 이용한 인간 모션 학습 및 생성

이충연(Chung-Yeon Lee),김지섭(Ji-seob Kim),김은솔(Eun-Sol Kim),Karinne Ramírez Amaro,Michael Beetz,장병탁(Byoung-Tak Zhang) 한국정보과학회 2011 한국정보과학회 학술발표논문집 Vol.38 No.2B

카메라 영상 기반 모션 캡처 시스템을 이용하여 수집한 주방 공간에서의 인간 행동 데이터로부터 기본 동작들의 모션 데이터를 추출 및 전처리한 후 non-linear generative model인 cRBM을 이용하여 각 모션 데이터를 학습하였다. 초기 모션 일부를 seed로 사용하여 자동으로 생성한 새로운 모션들은 학습에서 사용된 모션들과 동일한 작업을 수행하는 결과를 나타냈다. 본 실험 결과는 일상 환경에서 인간으로부터 획득한 모션 데이터를 이용하여 생성된 가상의 모션 데이터를 통해 로봇이나 아바타의 움직임을 보다 유연하게 제어할 수 있으며 또한 인간이 유아기 때부터 주위 사람들의 행동을 따라하며 자연스럽게 자신의 행동 방법을 배우는 방식과 유사한 행동 학습 메커니즘이 로봇에게도 적용시킬 수 있음을 보인다.

뇌신호-행동 기반 멀티모달 기억처리 분석

이충연(Chung-Yeon Lee),장병탁(Byoung-Tak Zhang) 한국정보과학회 2013 한국정보과학회 학술발표논문집 Vol.2013 No.6

다중 얼굴 태깅 자동화

이충연(Chung-yeon Lee),이재동(Jae-dong Lee),진성아(Seongah Chin) 大韓電子工學會 2010 電子工學會論文誌-CI (Computer and Information) Vol.47 No.3

최근 웹페이지의 생성 및 웹이 가진 정보량이 기하급수적으로 늘면서 사용자의 검색 목적을 파악하여 효율을 높이기 위한 다양한 방법이 연구되고 있으며, 태깅 시스템이 하나의 대안으로 떠오르고 있다. 태깅 시스템은 인터넷 사용자로 하여금 태그라고 불리는 메타데이터를 글, 사진, 동영상 등에 부여하도록 함으로써 콘텐츠의 검색 및 브라우징을 편리하게 하는 시스템이다. 이처럼 태그는 해당 페이지의 대표 키워드를 의미하므로 콘텐츠 분류의 기준을 마련할 수 있으나, 사용자에 의해 직접 입력되어야 하는 수고가 필요하고, 또한 무분별한 태깅으로 인해 오히려 분류에 방해가 되는 등의 문제점들이 있다. 본 논문에서는 이러한 태깅의 문제를 해결하기 위한 방법으로 얼굴인식 알고리즘을 활용한 영상콘텐츠 내에서의 다중 얼굴 태깅 자동화 방법을 제시한다. 이를 위해 먼저 여러 얼굴검출 방법 중 Haar-like features와 AdaBoost 알고리즘을 이용하여 빠른 속도와 높은 정확도로 영상콘텐츠 내에서 얼굴 영역을 검출한다. 이후 PCA와 고유얼굴을 이용하여, 검출해 낸 얼굴을 데이터베이스에 미리 저장해 놓은 프로필 사진과 비교, 인식해냄으로써 해당 인물에 대한 정보를 불러와서 자동으로 태깅하는 시스템을 구현하였다. 이러한 새로운 방식의 태깅 기술은 현존하는 사진공유, 쇼핑, 검색 등의 수많은 웹서비스에 적용이 가능하며, 특히 소셜네트워크서비스에서의 사진 관리나 인물검색 등에서 활용할 때 큰 효과를 보일 것으로 기대된다. To aim at improving performance and reflecting user's needs of retrieval, the number of researches has been actively conducted in recent year as the quantity of information and generation of the web pages exceedingly increase. One of alternative approaches can be a tagging system. It makes users be able to provide a representation of metadata including writings, pictures, and movies etc. called tag and be convenient in use of retrieval of internet resources. Tags similar to keywords play a critical role in maintaining target pages. However, they still needs time consuming labors to annotate tags, which sometimes are found to be a hinderance caused by overuse of tagging. In this paper, we present an automatic tagging scheme for a solution of current tagging system conveying drawbacks and inconveniences. To realize the approach, face recognition-based tagging system on SNS is proposed by building a face area detection procedure, linear-based classification and boosting algorithm. The proposed novel approach of tagging service can increase possibilities that utilized SNS more efficiently. Experimental results and performance analysis are shown as well.

음향-영상-위치 통합정보의 앙상블학습을 이용한 장소인식

이충연(Chung-Yeon Lee),이범진(Beom-Jin Lee),온경운(Kyoung-Woon On),하정우(Jung-Woo Ha),강우성(Woo-Sung Kang),장병탁(Byoung-Tak Zhang) 한국정보과학회 2014 한국정보과학회 학술발표논문집 Vol.2014 No.6

모바일 멀티모달 센서 정보의 앙상블 학습을 이용한 장소 인식

이충연(Chung-Yeon Lee),이범진(Beom-Jin Lee),온경운(Kyoung-Woon On),하정우(Jung-Woo Ha),김홍일(Hong-Il Kim),장병탁(Byoung-Tak Zhang) 한국정보과학회 2015 정보과학회 컴퓨팅의 실제 논문지 Vol.21 No.1

본 논문에서는 시각, 음향, 위치 정보를 포함하는 멀티모달 센서 입력 정보로부터 사용자가 위치한 장소의 환경 정보를 학습하고 기계학습 추론을 통해 장소를 인식하는 방법을 제안한다. 이 방법은 음영 지역에서의 정확도 감소나 추가 하드웨어 필요 등 기존 위치 정보 인식 방법이 가지는 제약을 극복 가능하고, 지도상의 단순 좌표 인식이 아닌 논리적 위치 정보 인식을 수행 가능하다는 점에서 해당 위치와 관련된 특정 정보를 활용하여 다양한 생활편의를 제공하는 위치 기반 서비스를 수행하는데 보다 효과적인 방법이 될 수 있다. 제안하는 방법에서는 스마트폰에 내장된 카메라, 마이크로폰, GPS 센서 모듈로부터 획득한 시각, 음향, 위치 정보로부터 특징 벡터들을 추출하여 학습한다. 이때 서로 다른 특성을 가진 특징 벡터들을 학습하기 위해 각각의 특징 벡터들을 서로 다른 분류기를 통해 학습한 후, 그 결과를 기반으로 최종적인 하나의 분류 결과를 얻어내는 앙상블 기법을 사용한다. 실험 결과에서는 각각의 데이터를 따로 학습하여 분류한 결과와 비교하여 높은 성능을 보였다. 또한 사용자 상황인지 기반 서비스의 성능 향상을 위한 방법으로서 제안하는 모델의 스마트폰 앱 구현을 통한 활용 가능성에 대해 논의한다. Place awareness is an essential for location-based services that are widely provided to smartphone users. However, traditional GPS-based methods are only valid outdoors where the GPS signal is strong and also require symbolic place information of the physical location. In this paper, environmental sounds and images are used to recognize important aspects of each place. The proposed method extracts feature vectors from visual, auditory and location data recorded by a smartphone with built-in camera, microphone and GPS sensors modules. The heterogeneous feature vectors were then learned by an ensemble learning method that learns each group of feature vectors for each classifier respectively and votes to produce the highest weighted result. The proposed method is evaluated for place recognition using a data group of 3000 samples in six places and the experimental results show a remarkably improved recognition accuracy when using all kinds of sensory data comparing to results using data from a single sensor or audio-visual integrated data only.

웨어러블 센서를 이용한 사건인지 기반 일상 활동 예측

이충연(Chung-Yeon Lee),곽동현(Dong Hyun Kwak),이범진(Beom-Jin Lee),장병탁(Byoung-Tak Zhang) 한국정보과학회 2016 정보과학회논문지 Vol.43 No.7

실제 환경에서 사람의 일상적인 활동을 학습하는 기술은 스마트 비서나 자율지능 로봇과 같은 인지 지능 시스템 개발을 위해 필요한 핵심 기술이다. 일상을 예측하는 대다수의 연구들은 센서 데이터의 패턴과 일상 활동 사이의 직접적인 상관관계를 탐색하는 것에 집중하였다. 하지만 일상에서의 인간 활동은 하나의 레이블로 표현하기 어려운 다수의 사건 집합이고 또한 서술 가능한 특성을 지니고 있다. 본고에서는 일상을 구성하는 사건 요소들을 우선 인식하고, 이후 일상 활동을 학습 및 예측하는 방법을 제안한다. 제안하는 방법은 개인의 일상에서 웨어러블 장치와 스마트폰으로부터 수집된 일인칭 시점의 멀티 센서 데이터로부터 위치 좌표, 장면 영상, 그리고 신체적 움직임에 기인한 사건 요소들을 각각 인식한 뒤, 이 정보들이 특정 활동 내역에 따라 조합되는 규칙을 학습하여 최종적으로 사용자의 일상 활동을 예측한다. 두명의 실험 참가자가 각각 2주간 수집한 센서 데이터를 이용하여 실험한 결과는 제안한 방법이 센서 데이터로부터 추출된 특징을 일차적으로 사용하여 분류하는 기존의 방법과 비교하여 향상된 성능을 보였다. Learning from human behaviors in the real world is essential for human-aware intelligent systems such as smart assistants and autonomous robots. Most of research focuses on correlations between sensory patterns and a label for each activity. However, human activity is a combination of several event contexts and is a narrative story in and of itself. We propose a novel approach of human activity prediction based on event cognition. Egocentric multi-sensor data are collected from an individual’s daily life by using a wearable device and smartphone. Event contexts about location, scene and activities are then recognized, and finally the users’’ daily activities are predicted from a decision rule based on the event contexts. The proposed method has been evaluated on a wearable sensor data collected from the real world over 2 weeks by 2 people. Experimental results showed improved recognition accuracies when using the proposed method comparing to results directly using sensory features.

EEG 기반 뇌기능 분석을 이용한 영화 장면-대사 기억 게임에서의 인지 학습 특성

이충연(Chung-Yeon Lee),김은솔(Eun-Sol Kim),이상우(Sangwoo Lee),고봉경(Bongkyung Ko),김준식(Joon Shik Kim),장병탁(Byoung-Tak Zhang) 한국정보과학회 2011 한국정보과학회 학술발표논문집 Vol.38 No.1C

기억 인출 단서는 학습을 통해 장기기억 공간에 저장된 정보를 인출하는 과정에서 중요하며, 서로 다른 종류의 기억 인출 단서에 따른 기억 인출 결과 및 이에 대한 인지 학습적 특성 규명은 교육, 범죄 수사, 그리고 인간의 뇌 기능을 모방한 기계학습 연구 등에서 중요하게 다루어져야 할 문제이다. 본 논문에서는 비디오 데이터를 이용하여 학습한 내용을 인출하는 과정에서 텍스트와 이미지가 각각 인출 단서로서 기억인출 결과에 미치는 영향을 분석하고, 기억 정보 및 시각 정보 처리와 관련된 뇌 영역에서의 뇌전도 분석을 이용하여 이를 해석하였다. 실험 결과를 통해 기억 인출을 위해 이미지-텍스트를 제시할 경우 전전두엽의 기억인출 관련 부위와 시각 피질이 위치한 후두엽의 인터랙션이 높게 이루어지면서 암묵적인 시각적 기억 표상의 인출이 발생하는 것을 알 수 있었다.

뇌-행동 기반 멀티모달 단편 기억처리 분석

이충연(Chung-Yeon Lee),장병탁(Byoung-Tak Zhang) 한국정보과학회 2013 정보과학회 컴퓨팅의 실제 논문지 Vol.19 No.12

최근 스마트폰이나 태블릿PC 등 모바일 기기의 사용량이 증가하고, 또 구글 글래스나 갤럭시 기어와 같은 웨어러블 컴퓨터가 등장하는 시점에서, 고차원의 빅데이터 처리나 Life-long 학습의 중요성이 대두되고 있다. 특히 다양한 센서들을 통해 획득한 멀티모달 데이터의 실시간 처리는 매우 중요하며, 이를 위해서 뇌의 기억 처리 과정을 연구할 필요가 있다. 하지만 인간의 뇌가 접하는 자연적 감각 자극들이 동적이고 멀티모달한 특성을 가졌음에도 불구하고, 대다수 연구들에서는 조건적이고 정적인 실험 자극이 제시되는 다소 통제적인 실험 프로토콜을 사용하고 있다. 이에 본 연구에서는 사실적인 실험 환경 내에서 일화기억 과정에 대한 실험을 수행하기 위해, 먼저 서술적 요소가 포함된 동영상을 실험 자극으로 사용하는 기억 과제를 개발하고, 다음으로 행동 요소가 고려되는 경우에 대해서 기억인출 과정과 뇌영상 데이터 간 상관관계를 분석하였다. 실험 결과에서는 비디오와 같이 멀티모달한 실험 자극을 사용하는 경우에도 기존 연구들과 유사한 결과가 나타나는 것을 발견하였으며, 반응시간과 같은 행동 요소를 통해 기억 과정과 관련된 뇌전도 데이터를 해석하는 것이 유의미함을 확인할 수 있었다. High-dimensional big data processing and life-long learning have been considered as an important field as mobile device usage is rapidly increasing and further wearable computers are being featured nowadays. Multimodal data piling up from various sensors attached to mobile devices are needed to process in real time and thus memory processing mechanisms of the brain are required to investigate. However, most studies have stressed on delimiting the upper boundaries of this memory by using memorization tasks with conditional experimental paradigms, rather than the performance of everyday tasks. In an effort to study the encoding and retrieval of episodic memory under more naturalistic and ecological conditions, we here demonstrate a memory experiment that employs audio-visual narrative movies as naturalistic stimuli. Electroencephalography measurements were used to analyze neural activations during memory formation. Our results extend the previous results of neurocognitive studies on memory formation via naturalistic stimuli, neural oscillations, and behavioral factor analysis combined.

뇌의 기억 인출에 대한 유효 EEG 연결성 분석

이충연(Chung-Yeon Lee),장병탁(Byoung-Tak Zhang) 한국정보과학회 2014 정보과학회 컴퓨팅의 실제 논문지 Vol.20 No.4

뇌의 활성화 반응을 바탕으로 인간의 기억 과정을 이해하고자 하는 연구는 뇌인지 및 신경 과학에서 핵심적인 연구 분야로 주목받고 있다. 지난 수십 년간 많은 연구를 통해 기억 인출에 따른 뇌의 역할이 규명되었지만, 최근에는 뇌 기능과 관련된 연구가 특정 역할을 담당하는 뇌 영역들을 구분하는 방법이 아닌 각 영역 간의 상호작용 및 기능적 연결성을 확인하는 방법으로 발전하고 있다. 특히 유효 연결성은 활성화 영역 간의 인과 관계를 설명할 수 있기 때문에 최근 뇌과학 연구에서 많은 관심을 가지고 있으며, 다양한 분석방법이 개발되고 있다. 본 논문에서는 기억인출 과제 수행 중 기록된 EEG 데이터로부터 기억 인출에 따른 뇌 영역 간 유효 연결성을 계산하는 방법을 소개하고, 해당 영역간의 네트워크 구조를 분석한 결과에 대해 논한다. 실험 결과, 기억인출시 전두 영역, 내측두 영역 일부, 두정 영역 일부 그리고 후두 영역 일부를 포함한 뇌 영역들이 긴밀하게 연결되는 네트워크 구조를 보이며, 상전두이랑(superior frontal gyrus) 영역의 경우 이들 영역 전체를 아울러 정보흐름이 나타나는, 허브 노드와 같은 역할을 하는 것을 확인하였다. Recent advances in cognitive neuroscience have focused on the role of inter-areal interactions between various specialized brain regions and functional connectivity in human cognition. Decades of neuroimaging and patient lesion studies demonstrated the correlation between the roles of specific brain structures in memory retrieval, however, neuronal mechanisms based on effective connectivity underlying the coordination of this anatomically distributed information processing have remain largely unknown. Here we investigate the information flow network of the human brain during memory retrieval. The experimental results reveal that the episodic memory retrieval involves increase of information flow and densely interconnected networks between the prefrontal cortex, the medial temporal lobe, and some subregions of the parietal and occipital cortex. In this network, interestingly, we found the SFG acted as a hub, globally interconnected across broad brain regions.

웨어러블 라이프로그 기반 상황 인식과 응용 시나리오

이충연(Chung-Yeon Lee),이상우(Sang-Woo Lee),곽동현(Dong-Hyun Kwak),장병탁(Byoung-Tak Zhang) 한국정보과학회 2014 한국정보과학회 학술발표논문집 Vol.2014 No.12