표정인식을 위한 주성분분석의 고유벡터 선정

국문 초록 (Abstract)

사람 얼굴표정이 갖는 역할은 정서적 경향, 사회정보, 사람의 중요한 의사전달의 수단으로 개인의 정보를 나타내는 좋은 수단이 된다. 표정인식은 사람들의 표정변화의 차이를 인식하는 것을 목적으로 한다. 얼굴의 주요 부위인 입, 눈, 눈썹 등을 포함하는 얼굴 영역의 검출이 선행되어야 하며, 얼굴영역을 기반으로 표정의 특징 추출과 분류 과정으로 이루어진다. 표정인식의 연구들은 공간적 분석과 시공간적 분석으로 나눌 수 있고 공간적 분석은 기하학적 특징기반 방법과 영상기반 방법으로 나누어진다.
영상기반 표정인식에서 전통적인 패턴인식 알고리즘을 사용할 경우 발생하는 주변환경에 대한 문제점은 대안적 알고리즘인 국부 이진 패턴을 사용하여 개선할 수 있다. 얼굴영역을 기반으로 표정의 특징 추출과 분류 과정으로 이루어지며 특징 추출은 주성분분석을 국부 이진 패턴에 결합하여 주변환경의 문제점을 보완하여 성능을 개선하였다. 주성분분석 기법인 고유 값 분해를 통하여 고유벡터를 추출하게 되며 고유벡터는 주성분 벡터의 방향을 나타내고 원본 이미지를 고유벡터에 투영하면 주성분의 특성을 갖는 이미지가 재구성 된다. 이때 고유벡터 개수에 따라 성능이 크게 달라지는 문제점을 가지고 있다.
본 논문은 국부 이진 패턴과 주성분분석의 결합을 할 경우 최적의 고유벡터를 찾는 것을 목표로 한다. 먼저 주성분분석의 단점을 보완하는 전처리 이미지는 국부 이진 패턴의 방법을 사용하여 조명에 견고하게 만든다. 이 후 고유벡터를 사용하여 이미지를 재구성하며 256 차원을 갖는 히스토그램으로 특징을 추출하였다. 특징을 분류 하기 위해 서포트 벡터 머신의 힌지손실 함수를 사용하여 각 표정의 클래스를 구분하는 서포트 벡터 머신을 생성한다. 검증의 힌지손실 값을 각 표정 마다 비교하여 힌지손실 값이 가장 낮은 서포트 벡터 머신을 선택함으로 표정을 인식한다. 사용하는 고유벡터 개수마다 인식률이 다르게 나오며 인식률을 비교하여 최적의 고유벡터 개수를 선정한다.
본 논문에서는 제시한 방법의 검증을 위해 JAFFE 데이터베이스를 이용하였다. 인물에 대해서 각 표정 별 그룹을 나눈 각 표정마다 21개씩 총 147개의 학습영상으로 서포트 벡터 머신을 이용하여 최적의 분류 기준을 선정하고, 검증을 위한 영상으로 각 표정마다 9개씩 총 63개을 사용하여 표정인식 실험을 수행하였다. 표정인식의 결과는 특징추출 및 분류에 사용되는 고유벡터의 수에 따라 다른 결과를 보였다. 최종적으로 고유벡터를 모두 사용한 것보다 고유벡터를 7개 사용한 경우 인식률이 가장 높았으며 인식률은 92.07%이다.

다국어 초록 (Multilingual Abstract)

The role of human facial expressions is a good means of expressing personal information as a means of emotional tendency, social information, and important communication of people. Facial expression recognition aims at recognizing differences in people's facial expressions. The face region including the mouth, eyes, eyebrows and the like, which are the main parts of the face, must be detected and feature extraction and classification processes based on the face region are performed. Research on facial expression recognition can be divided into spatial analysis and spatial and temporal analysis. Spatial analysis is divided into geometric feature based method and image based method.
The problem of the surrounding environment which occurs when using the conventional pattern recognition algorithm in image-based facial expression recognition can be improved by using the local binary pattern, which is an alternative algorithm. Feature extraction and classification process based on face region. Feature extraction improves performance by combining principal component analysis with local binary pattern to compensate the problems of surrounding environment. An eigenvector is extracted by eigenvalue decomposition, which is a principal component analysis technique. The eigenvector represents the direction of the principal component vector. When the original image is projected onto the eigenvector, the image having the principal component is reconstructed. At this time, the performance varies depending on the number of eigenvectors.
This paper aims to find the optimal eigenvector when combining local binary pattern and principal component analysis. First, the preprocessing image that complements the disadvantages of the principal component analysis makes use of the local binary pattern to make the illumination robust. After that, the image is reconstructed using eigenvectors and the feature is extracted with histogram with 256 dimensions. To classify features, we use support vector machine hinge loss function to generate support vector machine which classify each facial expression class. The hinge loss value of the verification is compared for each expression, and the expression is recognized by selecting the support vector machine having the lowest hinge loss value. The recognition rate is different for each number of eigenvectors used and the optimum number of eigenvectors is selected by comparing the recognition rates.
In this paper, we use the JAFFE database to verify the proposed method. A total of 147 training images, 21 each for each facial expression, divided into groups of facial expressions were selected. The optimal classification criteria were selected using a vector machine. A total of 63 images were used for each facial expression Recognition experiments were performed. The results of facial recognition were different according to the number of eigenvectors used for feature extraction and classification. Finally, the recognition rate is the highest when using seven eigenvectors, and the recognition rate is 92.07%.

목차 (Table of Contents)

• 국문초록 i
• 목 차 iii
• 표 목 차 iv
• 그림목차 v
• 알고리즘목차 vii
• 제１장 서 론 １
• 제２장 이론적 배경 ４
• ２.１ 표정인식 관련 연구 동향 ４
• ２.２ 주성분분석(Principal Component Analysis) ５
• ２.３ 국부 이진 패턴(Local Binary Pattern) １０
• ２.４ 서포트 벡터 머신(Support Vector Machine) １５
• ２.４.１ 선형 서포트 벡터 머신 １５
• ２.４.２ 다중 클래스 서포트 벡터 머신 １７
• ２.４.３ 힌지손실 １９
• 제３장 전처리 및 특징 추출 ２１
• ３.１ 전처리 ２１
• ３.２ 특징 추출 및 학습 ２３
• ３.３ 검증 과정 ３２
• 제４장 실험 및 고찰 ３６
• ４.１ 실험 방법 ３６
• ４.２ 실험 결과 ３８
• ４.２.１ 전처리 ３８
• ４.２.２ 특징 추출 및 학습 ３９
• ４.２.３ 검증 ４８
• ４.３ 고찰 ５８
• 제５장 결론 ６０
• 참 고 문 헌 ６２
• ABSTRACT ６８