Emotion-driven facial re-targeting : Multi-task learning for 3D facial expression transfer

국문 초록 (Abstract)

페이셜 리타겟팅(Facial Re-targeting)은 사용자의 얼굴 표정과 특징을 가성 공간에 구현 된 가상 아바타에게 전이시키는 기술이다. 페이셜 리타겟팅의 목적은 가상 아바타에게 사람 같은 실감나는 표정을 쉽게 전달하고 정형화된 애니메이션 작업을 최소화 하는 것이다. 이 기술은 비디오 게임, 영화, 애니메이션 및 가장 최근에는 메타버스와 같은 다양한 분야에서 활용되고 있다. 이전 연구는 피지컬 마커(Physical Marker)와 딥러닝을 사용한 얼굴 랜드마크 (Landmark)를 기반으로 진행했지만, 이러한 방법들은 계산 비용과 정확도 면에서 효율적이 지 않다. 본 논문에서는 얼굴 랜드마크에 대한 의존성을 없애는 새로운 딥러닝 기반 경량 얼굴 재타겟팅 모델을 제안하고자 한다. 본 논문에서 제안한 모델은 2D 이미지 데이터 세트에서 감정을 정확하게 식별하고 그 강도를 측정함으로써 얼굴 표정을 가상 아바타에 빠르고 견고 하게 리타겟팅 할 수 있음을 보여준다. 제안된 방법은 전문 지식이나 복잡한 소프트웨어 없이 간단한 페이셜 리타겟팅의 장점을 제공하며, 얼굴 랜드마크의 의존성을 제거하고 페이셜 리 타겟팅의 과정을 간소화한다. 본 연구는 경량하고 견고한 얼굴 재타겟팅을 위한 end-to-end 모델, 얼굴 랜드마크 없이 페이셜 리타겟팅 프로세스 및 응용에 대한 방법을 제시한다. 뿐 만 아니라, 데이터 수집 및 어노테이션(Annotation) 과정을 포함한 페이셜 리타겟팅 데이터 셋 및 유니티3D 엔진에서 실시간 페이셜 리타겟팅을 위한 본 모델의 전반적인 아키텍처 및 구현에 대해 소개한다.

다국어 초록 (Multilingual Abstract)

Facial re-targeting is a crucial role in transferring facial expressions to virtual avatars while maintaining the authenticity of the original expressions. It facilitates the development of lifelike and believable expressions for virtual avatars with minimal manual animation efforts. This technology has been employed to a variety of ends, like video games, movies, animations, and most recently, the Metaverse. Previous approaches have used facial markers and deep neural networks to target facial landmarks, but these methods suffer from inefficiencies in computation and are not precise. In this paper, we propose a new deep learning-based lightweight facial re-targeting model that eliminates the dependency on facial landmarks. Our model can accurately identify emotions and evaluate their intensity from 2D image datasets, enabling quick and robust re-targeting of facial expressions to virtual avatars. The proposed method provides advantages of simple facial re-targeting, without expertise or complicated software, and it simplifies re-targeting of facial features, eliminating the necessity for facial landmarks. We present the main contributions of our work, including the end-to-end model for lightweight and robust facial re-targeting, a facial re-targeting process without facial landmarks, and the applications of facial re-targeting. Additionally, we introduce our facial re-targeting datasets, including data collection and annotation processes. Finally, we present the problem statement, the overall architecture of our multi-task learning model, and the implementation of the proposed model for real-time facial re-targeting in the Unity3D Engine.

목차 (Table of Contents)

• 1 Introduction 1
• 2 Related Work 3
• 2.1 Facial Re-targeting 3
• 2.2 Facial Expression Recognition Method 5
• 2.3 Multi-task Learning For Facial Expression And Intensity Estimation 6
• 3 Dataset 8
• 3.1 Facial Emotion Recognition Dataset 8
• 4 Methods 11
• 4.1 Deep Learning Model 11
• 4.2 Model Transformation 15
• 4.3 Facial Re-targeting Module 16
• 5 Experiments 22
• 5.1 Experimental Settings 22
• 5.2 Baseline Models 23
• 5.3 Experimental Results 25
• 6 Conclusion 36
• References 37
• 초 록 48