FACS와 AAM을 이용한 Bayesian Network 기반 얼굴 표정 인식 시스템 개발

고광은(Kwang-Eun Ko),심귀보(Kwee-Bo Sim) 한국지능시스템학회 2009 한국지능시스템학회논문지 Vol.19 No.4

얼굴 표정은 사람의 감정을 전달하는 핵심 메커니즘으로 이를 적절하게 활용할 경우 Robotics의 HRI(Human Robot Interface)와 같은 Human Computer Interaction에서 큰 역할을 수행할 수 있다. 이는 HCI(Human Computing Interface)에서 사용자의 감정 상태에 대응되는 다양한 반응을 유도할 수 있으며, 이를 통해 사람의 감정을 통해 로봇과 같은 서비스 에이전트가 사용자에게 제공할 적절한 서비스를 추론할 수 있도록 하는 핵심요소가 된다. 본 논문에서는 얼굴표정에서의 감정표현을 인식하기 위한 방법으로 FACS(Facial Action Coding System)와 AAM(Active Appearance Model)을 이용한 특징 추출과 Bayesian Network 기반 표정 추론 기법이 융합된 얼굴표정 인식 시스템의 개발에 대한 내용을 제시한다. As a key mechanism of the human emotion interaction, Facial Expression is a powerful tools in HRI(Human Robot Interface) such as Human Computer Interface. By using a facial expression, we can bring out various reaction correspond to emotional state of user in HCI(Human Computer Interaction). Also it can infer that suitable services to supply user from service agents such as intelligent robot. In this article, We addresses the issue of expressive face modeling using an advanced active appearance model for facial emotion recognition. We consider the six universal emotional categories that are defined by Ekman. In human face, emotions are most widely represented with eyes and mouth expression. If we want to recognize the human's emotion from this facial image, we need to extract feature points such as Action Unit(AU) of Ekman. Active Appearance Model (AAM) is one of the commonly used methods for facial feature extraction and it can be applied to construct AU. Regarding the traditional AAM depends on the setting of the initial parameters of the model and this paper introduces a facial emotion recognizing method based on which is combined Advanced AAM with Bayesian Network. Firstly, we obtain the reconstructive parameters of the new gray-scale image by sample-based learning and use them to reconstruct the shape and texture of the new image and calculate the initial parameters of the AAM by the reconstructed facial model. Then reduce the distance error between the model and the target contour by adjusting the parameters of the model. Finally get the model which is matched with the facial feature outline after several iterations and use them to recognize the facial emotion by using Bayesian Network.

멀티 모달 감정인식 시스템 기반 상황인식 서비스 추론 기술개발

고광은(Kwang-Eun Ko),심귀보(Kwee-Bo Sim) 한국지능시스템학회 2009 한국지능시스템학회논문지 Vol.19 No.1

사람의 감정은 주관적인 인식 직용으로서 충동적인 성향을 띄고 있으며 무의식중의 사람의 욕구와 의도를 표현하고 있다. 이는 유비쿼터스 컴퓨팅 환경이나 지능형 로봇의 사용자가 처한 환경의 상황정보 중에서 사용자의 의도를 가장 많이 포함하고 있는 정보라고 할 수 있다. 이러한 사용자의 감정을 파악할 수 있는 지표는 사람의 얼굴 영상에서의 표정과 음성신호에서의 Spectrum 통계치 및 생체신호(근전위, 뇌파, 등)등 이다. 본 논문에서는 감정인식 활용의 편의와 효율성 향상을 주목적으로 하여 사용자의 얼굴 영상과 음성을 이용한 감정인식에 대하여 개별 결과물만을 산출하고 그 인식률을 검토한다. 또한 임의의 상황에서의 인식률 향상을 위하여 영상과 음성의 특징을 기반으로 최적의 특징 정보들을 구별해 내고, 각각의 개별 감정 특징에 대한 융합을 시도하는 특징 융합 기반의 Multi-Modal 감정인식 기법을 구현한다. 최종적으로 감정인식 결과를 이용하여 유비쿼터스 컴퓨팅 환경에서 발생 가능한 상황 설정 시나리오와 베이지안 네트워크를 통해 유비쿼터스 컴퓨팅 서비스의 확률 추론 가능성을 제시하고자 한다. As a subjective recognition effect, human's emotion has impulsive characteristic and it expresses intentions and needs unconsciously. These are pregnant with information of the context about the ubiquitous computing environment or intelligent robot systems users. Such indicators which can aware the user's emotion are facial image, voice signal, biological signal spectrum and so on. In this paper, we generate the each result of facial and voice emotion recognition by using facial image and voice for the increasing convenience and efficiency of the emotion recognition. Also, we extract the feature which is the best fit information based on image and sound to upgrade emotion recognition rate and implement Multi-Modal Emotion recognition system based on feature fusion. Eventually, we propose the possibility of the ubiquitous computing service reasoning method based on Bayesian Network and ubiquitous context scenario in the ubiquitous computing environment by using result of emotion recognition

멀티 모달 감정인식 시스템 기반 상황인식 서비스 추론 기술 개발

고광은(Kwang-Eun Ko),심귀보(Kwee-Bo Sim) 한국지능시스템학회 2008 한국지능시스템학회 학술발표 논문집 Vol.18 No.2

사람의 감정은 주관적인 인식 작용으로서 충동적인 성향을 띄고 있으며 무의식중의 사람의 욕구와 의도를 표현하고 있다. 이는 유비쿼터스 컴퓨팅 환경이나 지능형 로봇의 사용자가 처한 주변 상황정보 중에서 사용자의 의도를 가장 많이 포함하고 있는 정보라고 할 수 있다. 이러한 사용자의 감정을 파악할 수 있는 지표는 사람의 얼굴 영상에서의 표정과 음성신호에서의 Spectrum 통계치 및 생체신호(근전위, 뇌파, 등)를 활용할 수 있다. 본 연구는 감정인식 활용의 편의와 효율성 향상을 위한 방편으로 사용자의 얼굴 영상을 통한 감정인식과 음성을 이용한 감정인식에 대해 개별 결과물만을 산출하고 그 인식률을 검토한다. 그리고 임의의 상황에서의 인식률 향상을 위하여 영상과 음성의 특징을 기반으로 최적의 특징 정보들을 구별해 내고, 각각의 개별 감정 특징에 대한 융합을 시도하여 특징 융합 기반의 Multi-Modal 감정인식 기법을 구현한다. 또한 이를 이용하여 적절한 상황 설정 시나리오를 통해 감정인식 결과를 기반으로 한 서비스 추론의 가능성을 제시하고자 한다.

Advanced AAM 기반 정서특징 검출 기법 개발

고광은(Kwang-Eun Ko),심귀보(Kwee-Bo Sim) 한국지능시스템학회 2009 한국지능시스템학회논문지 Vol.19 No.6

지능로봇시스템과 같은 HCI 환경에서 사람의 감정을 인식하기 위한 매개정보인 얼굴영상 기반 정서특징 검출문제는 관련분야의 매우 중요한 이슈이다. 본 논문에서는 보편화된 시스템 기반에서 임의의 사용자에 대한 정서 인식을 수행하기 위해 사람의 얼굴에서 나타나는 최적의 정서특징을 가장 효율적으로 추출하기 위한 연구로서 본 연구실에서 기존에 제안한 FACS와 AAM을 이용한 Bayesian Network 기반 얼굴표정 인식 시스템을 보완한 Advanced AAM을 기반 얼굴영상 정서특징을 검출 시스템에 대한 연구를 진행하였다. 이를 수행하기 위하여 정규화된 이미지에서의 Statistical Shape Analysis로서 Advanced AAM과 얼굴 표정 분석 시스템인 FACS를 이용하여, 임의의 사용자에 대한 자동적인 정서특징 검출이 가능하도록 연구를 진행하였다. It is a key element that the problem of emotional feature extraction based on facial image to recognize a human emotion status. In this paper, we propose an Advanced AAM that is improved version of proposed Facial Expression Recognition Systems based on Bayesian Network by using FACS and AAM. This is a study about the most efficient method of optimal facial feature area for human emotion recognition about random user based on generalized HCI system environments. In order to perform such processes, we use a Statistical Shape Analysis at the normalized input image by using Advanced AAM and FACS as a facial expression and emotion status analysis program. And we study about the automatical emotional feature extraction about random user.

AAM 기반 정서특징 검출 기법 개발

고광은(Kwang-Eun Ko),심귀보(Kwee-Bo Sim) 한국지능시스템학회 2009 한국지능시스템학회 학술발표 논문집 Vol.19 No.2

지능로봇시스템과 같은 HCI 환경에서 사람의 감정을 인식하기 위한 매개정보인 얼굴영상 기반 정서특징 검출문제는 관련분야의 매우 중요한 이슈이다. 본 논문에서는 보편화된 시스템 기반에서 임의의 사용자에 대한 정서 인식을 수행하기 위해 사람의 얼굴에서 나타나는 최적의 정서특징을 가장 효율적으로 추출하기 위한 연구로서 본 연구실에서 기존에 제안한 FACS와 AAM을 이용한 Bayesian Network 기반 얼굴표정 인식 시스템을 보완한 Advanced AAM을 기반 얼굴영상 정서특징을 검출 시스템에 대한 연구를 진행하였다. 이를 수행하기 위하여 정규화된 이미지에서의 Statistical Shape Analysis로서 Advanced AAM과 얼굴 표정 분석 시스템인 FACS를 이용하여, 임의의 사용자에 대한 자동적인 정서특징 검출이 가능하도록 연구를 진행하였다.

운동심상 EEG 패턴분석을 위한 HSA 기반의 HMM 최적화 방법

고광은(Kwang-Eun Ko),심귀보(Kwee-Bo Sim) 제어로봇시스템학회 2011 제어·로봇·시스템학회 논문지 Vol.17 No.8

HMMS (Hidden Markov Models) are widely used for biological signal, such as EEG (electroencephalogram) sequence, analysis because of their ability to incorporate sequential information in their structure. A recent trends of research are going after the biological interpretable HMMs, and we need to control the complexity of the HMM so that in has good generalization performance. So, an automatic means of optimizing the structure of HMMs would be highly desirable. In this paper, we described a procedure of classification of motor imagery EEG signals using HMM The motor imagery related EEG signals recorded from subjects performing left, right hand and foots motor imagery. And the proposed a method that was focus on the validation of the HSA (Harmony Search Algorithm) based optimization for HMM. Harmony search algorithm is sufficiently adaptable to allow incorporation of other techniques. A HMM training strategy using HSA is proposed, and it is tested on finding optimized structure for the pattern recognition of EEG sequence. The proposed HSA-HMM can performs global searching without initial parameter setting, local optima, and solution divergence.

정서재활 바이오피드백을 위한 얼굴 영상 기반 정서인식 연구

고광은(Kwang-Eun Ko),심귀보(Kwee-Bo Sim) 제어로봇시스템학회 2010 제어·로봇·시스템학회 논문지 Vol.16 No.10

If we want to recognize the human’s emotion via the facial image, first of all, we need to extract the emotional features from the facial image by using a feature extraction algorithm. And we need to classify the emotional status by using pattern classification method. The AAM (Active Appearance Model) is a well-known method that can represent a non-rigid object, such as face, facial expression. The Bayesian Network is a probability based classifier that can represent the probabilistic relationships between a set of facial features. In this paper, our approach to facial feature extraction lies in the proposed feature extraction method based on combining AAM with FACS (Facial Action Coding System) for automatically modeling and extracting the facial emotional features. To recognize the facial emotion, we use the DBNs (Dynamic Bayesian Networks) for modeling and understanding the temporal phases of facial expressions in image sequences. The result of emotion recognition can be used to rehabilitate based on biofeedback for emotional disabled.

Mirror Neuron System 계산 모델을 이용한 모방학습 기반 인간-로봇 인터페이스에 관한 연구

고광은(Kwang-Eun Ko),심귀보(Kwee-Bo Sim) 한국지능시스템학회 2013 한국지능시스템학회 학술발표 논문집 Vol.23 No.1

3차원 영상복원 데이터를 이용한 HMM 기반 의도인식 시스템

고광은(Kwang-Eun Ko),박준형(Junhyung Park),심귀보(Kwee-Bo Sim) 한국지능시스템학회 2011 한국지능시스템학회 학술발표 논문집 Vol.21 No.2

장애인을 위한 상황인식 및 서비스 추론기술 개발

고광은(Kwang-Eun Ko),장인훈(Jang In-Hoon),심귀보(Kwee-Bo Sim) 한국지능시스템학회 2008 한국지능시스템학회 학술발표 논문집 Vol.18 No.1

현대 산업의 발전에 따른 사회고령화, 장애인구 증가는 장애인을 위해 특화된 서비스를 제공할 유비쿼터스 컴퓨팅 기술의 개발이 필요함을 나타낸다. 이를 위해 사용자와 유비쿼터스 환경 간의 상호작용이 지원되는 상황인식 서비스 기술 개발이 필요하다. 상황인식 서비스 기술은 미들웨어와 응용서비스 개발로 분류 가능하며, 본 논문은 응용서비스 개발의 차원에서 장애인을 위한 서비스 Activity를 결정하고, 이것을 기반으로 온톨로지가 적용된 상황정보의 모델링을 구현한다. 상황정보 모델을 상황인식을 위한 베이지안 네트워크의 구조학습에 적용하여, 확률 기반 상황 추론이 가능한 상황인식 시스템을 개발한다.