A Robust Face Recognition System with Single Training Sample per Person Problem = A Robust Face Recognition System with Single Training Sample per Person Problem

다국어 초록 (Multilingual Abstract)

Recently, face recognition systems(FRS) are increasingly used in policing such as criminals tracking, terrorist arrest, security, and surveillance in smart-city. Because, face recognition is less invasive and does not require a subject to be in proximity to or in contact with a sensor. Also, as many video devices are developed, it is now possible to easily acquire images that can be used for investigation of police.

The general FRS is consists of training data acquisition, pre-processing, recognition model training, and prove image classification. In a real-world setting, facial-data acquisition can occur in many different environments, so a sufficient number of facial images are therefore needed to construct a FRS that is reliable under various conditions. However, it is difficult to collect sufficient images in real-world for each subject. Consequently, it is very difficult to recognize suspects found in CCTV when collecting single sample per person, such as police database of criminals.

In this paper, we proposed the FRS for improving performance of face recognition under Single Sample per Person problem. The proposed FRS has added data augmentation and enhancement steps to the conventional FRS.

First, in data augmentation step, we proposed the method of generating illumination and facial expression variation from a neutral face image by using the Bidirectional Integral Features(BIF) and the Weighted Interpolation Maps(WIM). From the noise model, an image including various variations can be generated through a change in contrast and brightness of the neutral image.

The BIF uses bidirectional integration image to extract each contrast factors for six illumination directions. Because the specific position of the integral image represents the distribution of gray-level intensities in the sub-region up to the corresponding position, it is possible to extract pixel change information by the shadow of the illumination. The WIM indicates the degree of variation in the pixel as it changes from neutral to expressive. The pixel value in a position with a large degree of variation can be replaced by the brightness of a neutral image of the auxiliary set. The WIM generates 6 facial expression images such as smile, surprise, angry, disgust, fear, and sad. As a result of the face recognition experiment on a number of face databases, the proposed method showed higher recognition rate than the existing method. Also, we confirmed that the proposed method for the PF07 database has the highest recognition rate when the images generated by BIF and WIM are used for training.

Second, in data refinement step, we propose the Linearly Projection Vector Estimation(LPVE) to refine noisy face images. The projection vectors of all data converge to the point in the L2PCA feature space when retention rate is 0. Also, the projection vector of the loss data converges linearly from the convergence point according to the degree of retention rate from projection vector of the original data. Thus, original projection vector of loss data is linearly estimated from convergence point. The results of face recognition experiments on AR database shows higher face recognition rate than other methods.

국문 초록 (Abstract)

최근, 범죄자 추적, 테러리스트 체포, 보안 및 스마트 도시에서의 감시와 같은 치안 활동에서 얼굴 인식 시스템을 활용하는 사례가 증가하고 있다. 얼굴 인식은 촬영 시 개인에게 주는 피해가 적고, 사람이 직접 센서에 근접하거나 접촉할 필요가 없다. 또한, 많은 비디오 장치가 개발됨에 따라 수사와 같은 경찰 활동에 사용할 수있는 얼굴 영상 획득이 비교적 용이하다.

얼굴 인식 시스템은 학습 데이터 수집, 전처리, 얼굴 인식 모델 학습, 그리고 증명(prove) 영상에 대한 분류로 구성된다. 다양한 조건에서 신뢰할 수있는 얼굴 인식 시스템을 구성하기 위해서는 실제 환경에서 발생하는 다양한 변이를 포함하는 충분한 수의 얼굴 영상이 필요하다. 그러나 개인별로 실제 환경에서 충분한 영상을 수집하는 것은 어렵다. 결과적으로, 경찰이 확보하고 있는 범죄자의 얼굴 데이터베이스와 같이 개인별 단일 영상을 수집하는 경우 CCTV에서 발견된 용의자를 인식하는 것은 매우 어렵다.

본 논문에서는 이러한 단일 학습 샘플 문제에서 얼굴 인식 성능을 향상시키기 위한 얼굴 인식 시스템을 제안한다. 제안된 얼굴 인식 시스템은 전통적인 얼굴 인식 시스템에 데이터 확대와 데이터 개선 단계가 추가되었다.

먼저, 데이터 확대 단계에서, Bidirectional Integral Features(BIF)와 Weighted Interpolation Maps(WIM)을 사용하여 조명과 표정 변이가 포함된 얼굴 영상들을 생성하는 방법을 제안한다. 노이즈 모델로부터, 각종 변이를 포함하는 영상은 변이가 없는 영상의 대비(contrast) 및 밝기(brightness)의 변화를 통해 생성할 수 있다. BIF는 양방향 적분 영상을 사용하여 6가지 조명 방향에 대한 각각의 contrast 성분을 추출한다. 적분 영상의 특정 위치는 해당 위치까지의 부분 영역의 밝기 분포를 나타내므로, 조명에 따른 그림자에 의한 픽셀 변화 정보를 추출할 수 있다. WIM은 무표정에서 표정으로 변화될 때의 픽셀의 변화 정도를 나타낸다. 변화 정도가 큰 위치의 픽셀값은 별도의 표정 얼굴 영상의 brightness로 대체할 수 있다. 이를 통해 웃음, 놀람, 화남, 역겨움, 두려움, 그리고 슬픔과 같은 6가지 표정 얼굴 영상을 생성하였다. 생성된 영상들은 얼굴 인식을 위한 학습 샘플로 사용되었다. 다수의 얼굴 데이터베이스에 대한 얼굴 인식 실험 결과, 제안한 방법은 기존의 방법보다 높은 인식률을 보였다. 또한, PF07 데이터베이스의 BIF와 WIM에서 생성한 영상들을 학습에 사용한 경우 역시, 제안한 방법의 인식률이 가장 높은 것을 확인했다.

두 번째로, 데이터 개선 단계에서는 노이즈가 있는 얼굴 영상을 개선하기 위해 Linearly Projection Vector Estimation(LPVE)을 제안한다. L2PCA 특징 공간에서, 유지율이 0일 때 모든 데이터의 투영 벡터는 L2PCA 특성 공간의 한 점(convergence point)으로 수렴한다. 또한 손실 데이터의 투영 벡터는 손실이 없는 원래 데이터의 투영 벡터에서 유지율의 정도에 따라 convergence point에 선형적으로 수렴한다. 따라서, 손실 데이터의 원래 투영 벡터는 convergence point로부터 선형적으로 역추정할 수 있다. AR 데이터베이스에 대한 얼굴 인식 실험 결과에서, 제안한 방법이 가장 높은 얼굴 인식률을 나타냈다.

목차 (Table of Contents)

• Contents
• 국문초록 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . i
• Abstract . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iii
• 감사의 글 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . v
• Contents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . vii
• List of Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . viii
• List of Figures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . x
• 1. Introduction 1
• 2. SSPP Problem in Face Recognition 6
• 3. Related Works 11
• 4. Proposed Method 13
• 4.1. Overall Structure of the Proposed Face Recognition . . . . . . . . . . . . . 13
• 4.2. Definition of Terms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
• 4.3. Data Augmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
• 4.3.1. Definition of Image Model . . . . . . . . . . . . . . . . . . . . . . . . 18
• 4.3.2. Illuminated Face Image Synthesis Using Bidirectional Integral Features 19
• 4.3.3. Facial Expression Synthesis Using Weighted Interpolation Maps . . . 26
• 4.4. Data Refinement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
• 4.4.1. Linear Subspace for Data Representation . . . . . . . . . . . . . . . 35
• 4.4.2. Linearly Projection Vector Estimation for Noise Refinement . . . . . 39
• 5. Experimental Results 43
• 5.1. Face Recognition with Illumination Variation . . . . . . . . . . . . . . . . . 43
• 5.1.1. Database . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
• 5.1.2. Image Generation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
• 5.1.3. Face Recognition Performance . . . . . . . . . . . . . . . . . . . . . 48
• 5.2. Face Recognition with Facial Expression Variation . . . . . . . . . . . . . . 50
• 5.2.1. Database . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
• 5.2.2. Image Generation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
• 5.2.3. Face Recognition Performance . . . . . . . . . . . . . . . . . . . . . 57
• 5.3. Face Recognition with Illumination and Facial Expression Variation . . . . 59
• 5.4. Image Refinement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
• 5.4.1. Face Recognition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
• 6. Conclusion 65
• 7. Future Works 67