합성곱 신경망 기반 밝기-색상 정보를 이용한 얼굴 위변조 검출 방법 = Face Anti-Spoofing Method Based on Combination of Luminance and Chrominance with Convolutional Neural Networks

국문 초록 (Abstract)

최근 등록된 사용자의 사진과 동영상 기반의 위변조 공격에 의한 개인 정보 유출 문제가 빈번하게 발생하면서, 얼굴 위변조 공격으로부터 사용자의 개인 정보를 안전하게 보호할 수 있는 얼굴 위변조 검출 기술의 중요성이 점차 증가하고 있다. 기존의 얼굴 위변조 검출 방법들은 주로 영상의 밝기 정보에만 집중하고, 색상 정보는 간과하여 고화질의 위변조 공격에 효과적으로 대응하지 못한다는 단점이 있다. 본 논문에서는 이러한 기존 단점을 극복하고자 얼굴 영상의 밝기와 색상 정보를 함께 이용한 합성곱 신경망 기반의 얼굴 위변조 검출 방법을 제안한다. 제안하는 방법은 적층된 합성곱 신경망과 보조 신경망을 이용하여 실제 얼굴과 위변조된 얼굴의 밝기 특징과 색상 특징을 독립적으로 추출한다. 즉, 얼굴 영상의 밝기 정보와 색상 정보를 모두 고려하여 얼굴 위변조 검출을 수행한다. 기존의 방법과는 달리, 본 논문에서는 독립적으로 추출된 특징을 단순 결합(Concatenation)만을 하는 것이 아니라 단순 결합하여 조합한 특징맵(Feature Map)에 주의 모듈(Attention Module)을 적용함으로써 다양한 특징을 적응적(Adaptively)으로 조합할 수 있도록 하였다. 또한, 효과적인 분류기 학습을 위하여 대비 손실함수(Contrast Loss Function)를 새롭게 제안하였는데, 대비 손실함수는 동일 클래스 내의 특징 간의 차이는 최소화 시키고 서로 다른 클래스의 특징 간의 차이는 최대화 시킴으로써 특징의 분별력을 높인다. 최종적으로 제안한 대비 손실함수와 소프트맥스 손실함수(Softmax Loss Function)를 함께 사용하여 얼굴 위변조 여부를 판별하는 분류기를 학습하여 얼굴 위변조 검출을 수행한다. 다양한 실험을 통해 본 논문에서 제안하는 방법이 기존 얼굴 위변조 검출 방법 대비 개선된 성능을 보임을 확인하고 그 결과를 분석한다.

다국어 초록 (Multilingual Abstract)

Recently, since the problem of personal information extrusion caused by spoofing attacks using photos and videos of registered users has been occur frequently, the importance of the face anti-spoofing technology has been increased. Previous methods have difficulties in detecting the high-quality face spoofing attacks as they have been mainly focused on analyzing the luminance information of the face image, while discarding the chrominance information of the face image. To overcome these problems, in this paper we propose the face anti-spoofing method based on combination of luminance and chrominance with convolutional neural networks. The proposed method extracts luminance and chrominance features independently from live and fake faces by using stacked convolutional neural networks and auxiliary networks. In particular, both intensity information and color information are used to perform the face anti-spoofing task. In contrast to previous methods, an attention module has been adopted to adaptively combine the extracted features instead of simply concatenating them. In detail, after concatenating the extracted features, attention module has been used to adaptively re-calibrate the concatenated feature. In addition, we propose a new loss function, called the contrast loss, to learn the classifier more efficiently. Specifically, the contrast loss improves the discriminative power of the features by maximizing the distance of the inter-class features while minimizing that of the intra-class features. Lastly, the classifier has been learned with the contrast loss and softmax loss to detect the face spoofing attacks. Experimental results demonstrate that our method achieves the significant improvement for face anti-spoofing compared to existing methods.

목차 (Table of Contents)

• 제1장 서론 1
• 제1절 연구의 배경 및 필요성 1
• 제2절 논문 구성 5
• 제2장 배경 이론 및 관련 연구 7
• 제1절 얼굴 위변조 공격 7
• 제2절 얼굴 위변조 검출 방법 관련 연구 9
• 1. 하드웨어 기반 얼굴 위변조 검출 방법 10
• 2. 소프트웨어 기반 얼굴 위변조 검출 방법 11
• 제3장 제안하는 방법 16
• 제1절 합성곱 신경망을 이용한 밝기 특징과 색상 특징 추출 20
• 제2절 주의 모듈을 이용한 특징 조합 22
• 제3절 분류기 학습을 위한 손실함수 설계 24
• 제4장 실험 및 결과 분석 31
• 제1절 데이터베이스 31
• 제2절 실험 환경 및 설정 33
• 제3절 실험 결과 35
• 제5장 결론 및 전망 39
• 참고문헌 41
• ABSTRACT 45