표정 인식 성능 향상을 위한 공간 고주파 성분 집중 신경망 연구 = Spatial High-frequency Component Attention Neural Network for Improved Facial Expression Recognition

국문 초록 (Abstract)

최근 인공지능과 컴퓨터 시스템 또는 로봇이 결합한 지능형 시스템과 사람 사이의 상호작용에 대한 다양한 서비스가 연구되고 있는 추세이다. 이러한 지능형 시스템과 사람 사이의 자연스러운 상호작용에 있어 표정 인식은 매우 중요한 연구 주제 중 하나 이다. 그러나 현재 딥러닝 기반의 표정 인식은 일반적인 공공 데이터셋 분류에 비해 성능 향상이 더딘 상황이다. 따라서 본 논문은 사람이 표정 인식을 하는 과정에서 공간 고주파 성분을 활용한다는 인지 심리학의 연구 결과에서 영감을 받아 이러한 기능을 합성곱 신경망에 부여하는 집중 모델을 제시한다. 제안된 모델은 특징 지도 텐서 에서 공간 특징 지도 행렬을 추출한 후 그것의 고주파 성분과의 유사성을 특징 벡터 분포의 관점에서 해석하고 계산한다. 이렇게 계산된 유사성을 집중 점수로 환산 후 특징 지도 텐서에 인가하여 공간 고주파 성분을 집중시키는 집중 모델을 제시한다. 또한 유사성을 계산하는 과정에 대한 설명력을 부여하기 위해 기하학적 해석과 주축 가설을 제시한다. 본 논문은 제안된 집중 모델을 ResNet18과 MobileNetV2에 부착하여 대표적인 표정 분류 데이터셋인 FER2013, CK+, JAFFE를 통해 구조와 성능을 검증한다. 또한 공간 특징 지도 행렬과 고주파 성분을 구성하는 행(또는 열) 방향 특징 벡터 분포 사이의 투영 거리 기반의 유사성을 매 학습 Epoch 마다 계산하여 주축 가설의 타당성을 제시한다.

다국어 초록 (Multilingual Abstract)

Facial expression recognition (FER) is a key component for natural human-system interaction in intelligent systems that combine AI with computer platforms or robots. Despite rapid progress in general image classification on public benchmarks, improvements in deep learning-based FER remain modest. Motivated by findings in cognitive psychology that humans exploit spatial high-frequency cues for expression perception, this paper introduces an attention model that explicitly equips convolutional neural networks with the ability to emphasize such information. Proposed model extracts a spatial feature map matrix from input feature map tensors and its high-frequency component. It computes their simiarity with the perspective of feature vector distributions. The computed similarity is converted into an attention score and applied to the feature map tensor, yielding an attention model that concentrates on spatial high-frequency component. This paper further presents a geometric interpretation and principal axis hypothesis to provide explanatory grounding for the similarity computation. The proposed attention model is attached to ResNet18 and MobileNetV2 and evaluated on representative FER datasets (FER2013, CK+, and JAFFE) to validate both architecture and performance. In addition, this research work quantifies a projection distance-based similarity between the row- (or column) wise feature vector distributions of spatial feature map matrix and its high-frequency component at every training epoch, providing empirical support for the principal axis hypothesis.

목차 (Table of Contents)

• 국문요약 i
• 영문요약 ii
• 목차 iii
• 그림 목차 v
• 표 목차 vii
• 1. 서론 1
• 2. 배경 지식 3
• 2.1. 집중 모델(Attention Model) 3
• 2.1.1. 집중 메커니즘과 집중 모델 4
• 2.1.2. 암시적(Implicit) 집중 모델 5
• 2.1.3. 명시적(Explicit) 집중 모델 6
• 2.2. 특이값 분해와 주성분 분석 7
• 2.2.1. 고유값 분해 7
• 2.2.2. 특이값 분해(SVD) 8
• 2.2.3. 주성분 분석(PCA) 10
• 3. 공간 고주파 집중 모델 개발 연구 13
• 3.1. 공간 고주파 집중 모델 13
• 3.1.1. 모델 개요 13
• 3.1.2. 모델 동작 과정 14
• 3.2. 합성곱 신경망 내 공간 특징에 대한 기하학적 해석 16
• 3.2.1. 공간 특징 지도에 대한 특이값 분해 16
• 3.2.2. 주축 가설(Principal Axis Hypothesis) 17
• 4. 실험 18
• 4.1. 실험 개요 18
• 4.1.1. 실험 목표 18
• 4.1.2. 데이터셋 구성 18
• 4.1.3. 실험 환경 구성 19
• 4.1.4. 비교군 선정 20
• 4.2. 모델 검증 및 분석 21
• 4.2.1. 모델 구조 검증 실험 21
• 4.2.2. 성능 비교 분석 실험 25
• 4.2.3. 데이터 시각화 및 분석 29
• 4.3. 주축 가설 검증 및 분석 32
• 4.3.1. 불일치성(Discrepancy) 측정 실험 32
• 4.3.2. 논의 사항(Discussion) 34
• 5. 결론 35
• 참고문헌 36