합성곱 투사와 역합성곱 복원을 포함한 자기-주의도 연산을 이용한 시선 추정 = Eye Gaze Estimation by Self-Attention with Convolution Projection and Deconvolution Reconstruction

국문 초록 (Abstract)

본 논문은 한 장의 얼굴 이미지로부터 시선을 추정하는 문제의 낮은 일반화 성능 문제를 해결하기 위한 새로운 네트워크를 제안한다. 개인의 얼굴 외형 및 환경 조건의 큰 편차에 의해 시선 추정을 위해 사용되던 기존 방법들은 낮은 일반화 성능을 보이며 피실험자에 치우치게 학습되기 쉬운 경향을 보인다. 이 문제를 해결하기 위해, 본 논문에서는 데이터가 충분한 조건에서 CNN 구조보다 더 높은 일반화 성능을 보이는 자기-주의도(Self-Attention) 메커니즘을 도입하였다. 그러나 자기-주의도 연산을 바로 이미지에 적용하면 높은 연산 비용이 발생한다. 제안한 방법은 지역적인 특징을 더 정확하게 모델링하는 합성곱 필터를 이용한 투사를 이용하여 자기-주의도 연산의 비용을 감소시킨다. 제안된 모델은 투사되어 계산된 전역 단위의 자기-유사도 연산의 결과를 입력과 같은 크기로 복원하여 공간 정보의 손실을 막고 전역-지역 간 관계를 모델링하는 역합성곱 필터를 포함한다. 공개된 시선 추정 데이터 세트인 EYE-DIAP, MPIIFaceGaze, Gaze360에 대한 다양한 실험을 통해 제안된 방법이 기존의 시선 추정 방법들과 비교해 시선 추정 결과의 정확도와 연산의 효율적인 측면에서 가장 우수한 성능을 달성하였음을 확인하였다.또한 데이터 세트 간 평가 방식을 통해 제안된 방법의 우수한 일반화 성능을 확인하였다.

목차 (Table of Contents)

• 국문초록 ⅰ
• 목 차 ⅱ
• List of Tables ⅳ
• List of Figures ⅴ
• Ⅰ. 서론 1
• 1.1 연구 배경 및 필요성 1
• 1.3 연구 목적 및 내용 3
• Ⅱ. 관련 연구 5
• 2.1 얼굴-눈 분리 패러다임 5
• 2.2 단일 단-대-단 네트워크에 의한 시선 추정 패러다임 6
• Ⅲ. 방법론 7
• 3.1 배경지식 7
• 3.2 CADSE 구조 10
• 3.2.1 CAD 블록 10
• 3.2.2 SE 블록 13
• 3.2.3 CADSE 블록 13
• Ⅳ. 실험 결과 15
• 4.1 실험 조건 15
• 4.2 데이터 세트 간 교차 평가 18
• 4.3 절제 연구 19
• 4.4 기존 최고 성능 방법과의 비교 21
• Ⅴ. 결론 24
• 참고문헌 25
• Abstract 28
• 감사의 글 30