PCA와 템플릿 정합을 사용한 눈 및 입 영상 기반 얼굴 표정 인식

국문 초록 (Abstract)

본 연구는 PCA와 템플릿 정합을 사용한 얼굴 표정 인식 알고리즘을 제안한다. 먼저 얼굴 영상은 Haar-like feature의 특징 마스크를 사용하여 획득한다. 획득한 얼굴 영상은 눈과 눈썹을 포함하고 있는 얼굴 상위 부분과 입과 턱을 포함하고 있는 얼굴 하위 부분으로 분리하여 얼굴 요소 추출에 용이하게 나눈다. 얼굴 요소 추출은 눈 영상과 입 영상을 추출하는 과정으로 먼저 학습영상으로 PCA를 거쳐 생성된 고유 얼굴을 구한다. 고유 얼굴에서 고유 입과 고유 눈을 획득하고, 이를 얼굴 분리 영상과 템플릿 매칭시켜 얼굴요소를 추출한다. 얼굴 요소는 눈과 입이 있으며 두 요소의 기하학적 특징으로 표정을 인식한다. 컴퓨터 모의실험 결과에 따르면 제안한 방법이 기존의 방법보다 추출률이 우수하게 나왔으며, 특히 입 요소의 추출률은 99%에 달하였다. 또 이 얼굴 요소 추출방법을 표정인식에 적용하였을 때 놀람, 화남, 행복의 3가지 표정의 인식률이 80%를 상회하였다.

다국어 초록 (Multilingual Abstract)

This paper proposed a recognition algorithm of human facial expressions using the PCA and the template matching. Firstly, face image is acquired using the Haar-like feature mask from an input image. The face image is divided into two images. One is the upper image including eye and eyebrow. The other is the lower image including mouth and jaw. The extraction of facial components, such as eye and mouth, begins getting eye image and mouth image.Then an eigenface is produced by the PCA training process with learning images. An eigeneye and an eigenmouth are produced from the eigenface. The eye image is obtained by the template matching the upper image with the eigeneye, and the mouth image is obtained by the template matching the lower image with the eigenmouth. The face recognition uses geometrical properties of the eye and mouth. The simulation results show that the proposed method has superior extraction ratio rather than previous results; the extraction ratio of mouth image is particularly reached to 99%. The face recognition system using the proposed method shows that recognition ratio is greater than 80% about three facial expressions, which are fright, being angered, happiness.

목차 (Table of Contents)

• 요약
• Abstract
• Ⅰ. 서론
• Ⅱ. 관련연구
• Ⅲ. 얼굴 표정 인식 시스템
• Ⅳ. 실험결과
• Ⅴ. 결론
• 참고문헌

참고문헌 (Reference)

1 우효정, "표정인식을 위한 PCA와 템플릿 정합을사용한 얼굴 요소 추출" 충북대학교 산업과학기술연구소 27 (27): 23-27, 2013

2 김상준, "표정인식 시스템을 위한 흑백 영상 기반의 얼굴 검색과 특징점 추출" 고려대학교 대학원 2004

3 최명근, "표정 변화에 따른 얼굴요소의 특징점 추적에 관한 연구" 연세대학교 대학원 2001

4 임동훈, "초보자를 위한 OpenCV를 이용한 영상처리" 자유아카데미 230-, 2012

5 설태인, "조명분리 고유얼굴에 기반한 조명에 강인한 얼굴 인식" 한국콘텐츠학회 9 (9): 115-124, 2009

6 이희재, "조명과 회전에 강한 LBP 기반의 얼굴 탐지" 171-173, 2014

7 반세범, "얼굴 특징점의 지각적 위계구조에 기초한 표정인식 신경망 모형" 연세대학교 대학원 2001

8 송지혜, "독립 요소 분석을이용한 얼굴 표정의 매개변수화" (사)한국컴퓨터그래픽스학회 15 (15): 7-15, 2009

9 박성천, "기하학적 특징과 미세 텍스쳐 분포를 이용한 얼굴 검출과 표정인식 방법" 단국대학교 대학원 2011

10 방재훈, "감성기반 서비스를 위한 통화 음성 감정인식 기법" 한국정보과학회 41 (41): 208-213, 2014

11 변원민, "가버 웨이블릿 기반의 개인 고유의 얼굴 특징 추출 기법" C-05 : 222-227, 2009

12 "http://www.kasrl.org/jaffe.html"

13 A. Pentland, "View-Based and Modular Eigenspaces for Face Recognition" 84-91, 1994

14 D. Gabor, "Theory of Communication" 93 : 429-459, 1946

15 Terence Sim, "The CMU Pose,Illumination,and Expression (PIE)database" 2002

16 "The AR Face Database"

17 Paul VIOLA, "Robust real-time face detection" 57 : 137-154, 2004

18 Hiroshi Sako, "Real-Time Facial-Feature Tracking Based on Matching Techniques and Its Applications" 1994

19 추원국, "PCA와 얼굴요소의 특징을 결합한 하이브리드 얼굴인식에 대한 연구" 세종대학교 대학원 2012

20 김성호, "LLE 알고리즘을 사용한 얼굴 모션 데이터의 투영 및 실시간 표정제어" 한국콘텐츠학회 7 (7): 117-124, 2007

21 강병준, "LDP 기반 비접촉식 지문 인식" 한국멀티미디어학회 13 (13): 1337-1347, 2010

22 Pierre Comon, "Independent Component Analysis: a new concept?" 36 (36): 287-314, 1994

23 T. F. Cootes, "Active appearance models" 23 (23): 681-685, 2001

24 C. Harris, "A combined corner and edge detector" 147-151, 1988

25 N. Otsu, "A Threshold Selection Method from Gray-Level Histograms" SMC-9 (SMC-9): 62-66, 1979