합성 데이터를 활용한 앙상블 학습 기반 안면 방향 추정 정확도 향상 기법 연구 = A Study on Accuracy Improvement Techniques for Head Pose Estimation Based on Ensemble Learning Using Synthetic Data

국문 초록 (Abstract)

안면 방향 추정(Head Pose Estimation)은 인간과 기계의 상호작용 방식에 핵심 기술 요소 중 하나로, 운전자의 상태를 감지하여 사고를 예방하는 지능형 모니터링 시스템 등 여러 분야로 응용이 빠르게 확장되고 있다. 최근 딥러닝 기 술의 발전으로 안면 방향 추정 모델의 정확도는 비약적으로 향상되었으나, 모델 성능 향상을 위한 고품질의 대규모 훈련 데이터가 필요로 한다. 이러한 고품질의 실제 얼굴 데이터를 확보하는 과정은 상당한 어려움이 존재하고 실제 이미지에 대한 Ground Truth 데이터 또한 라벨의 정확성을 완벽하게 보장하기 어렵다. 이러한 한계의 대안으로, 가상 합성 데이터를 활용하는 연구가 주목받고 있다. 이는 가상 환경 내에서 구현된 3D 모델의 머리 방향 값은 렌더링 엔진으로부터 직접 얻어지므로 정밀한 Ground Truth를 획득할 수 있기 때문이다. 본 연구에 서 제안하는 방법은 먼저 언리얼 엔진과 메타휴먼을 기반으로 렌더링 된 이미지 와 해당 시점의 3축 각도 값을 생성하여 데이터셋을 구축하였다. 다음으로 Sim2Real Gap을 해결하기 합성 데이터셋과 실제 데이터셋을 통합하여 최종 훈 련 데이터셋을 구성하였다. 학습 모델에서는 다수의 모델 예측을 종합하는 앙상 블 기법을 최종 모델로 채택하였다. 최적화된 4개의 모델로 구성된 앙상블 모델 은, BIWI 실제 데이터셋에 대해 전체 평균 오차 0.98°의 성능을 달성하였다.

다국어 초록 (Multilingual Abstract)

Head Pose Estimation (HPE) is a key technological element in human-computer interaction, with applications rapidly expanding into various fields, such as intelligent monitoring systems for driver state detection to prevent accidents. Although the accuracy of HPE models has improved dramatically due to recent advances in deep learning, high-quality, large-scale training data is required to further enhance model performance. However, acquiring such high-quality real face data is challenging, and it is difficult to ensure the complete accuracy of labels in ground truth data derived from real-world images.
As an alternative to these limitations, research utilizing virtual synthetic data is gaining attention. Precise ground truth can be obtained because the head orientation values of 3D models implemented in a - 60 virtual environment are extracted directly from the rendering engine. The method proposed in this study first constructs a dataset by generating rendered images and their corresponding 3-axis angular values based on Unreal Engine and MetaHuman. Next, the final training dataset is composed by integrating the synthetic and real-world datasets to bridge the Sim2Real gap.
For the learning model, an ensemble technique that synthesizes predictions from multiple models is adopted as the final architecture. The ensemble model, consisting of four optimized models, achieved an average error of 0.98° on the BIWI real-world dataset.

목차 (Table of Contents)

• 1. 서론 1
• 가. 연구의 배경 및 필요성 1
• 나. 연구 목표 3
• 2. 기존 연구 5
• 가. 딥러닝 기반 안면 방향 추정 기존 연구 6
• 1) 정확도 중심의 접근법 6
• 1-1) FSA-Net 6
• 1-2) TriNet 6
• 1-3) 6DRepNet 7
• 1-4) 본 연구의 접근 방식 8
• 2) 경량화 및 실시간 처리를 위한 접근법 8
• 2-1) MobileNets 8
• 2-2) ShuffleNet 9
• 2-3) Knowledge Distillation 10
• 2-4) LwPosr 10
• 2-5) 본 연구의 접근 방식 11
• 나. 안면 방향 추정을 위한 데이터셋 기존 연구 12
• 1) 실제 데이터셋 기반 연구 12
• 1-1) BIWI Kinect Head Pose Database 12
• 1-2) AFLW2000-3D 12
• 1-3) 300W-LP 12
• 1-4) Gender Shades 13
• 1-5) 본 연구의 접근 방식 13
• 2) 기존 합성 데이터 생성 연구 14
• 2-1) UnityEyes 14
• 2-2) 3DMM 14
• 2-3) StyleGAN 14
• 2-4) HeadNeRF 15
• 2-5) 본 연구의 접근 방식 15
• 다. Sim2Real 문제 해결을 위한 접근법 16
• 1) 도메인 적응(Domain Adaptation) 연구 16
• 1-1) DANN 16
• 1-2) CycleGAN 16
• 1-3) ADDA 16
• 1-4) PADACO 17
• 1-5) 본 연구의 접근 방식 17
• 2) 혼합 데이터 학습 최적화 방법 17
• 2-1) Playing for Data 17
• 2-2) SimGAN 18
• 2-3) Domain Randomization 18
• 2-4) MixMo 18
• 2-5) 본 연구의 접근 방식 19
• 3. 제안하는 시스템 20
• 가. 전체 시스템 구조 20
• 나. 데이터 생성을 위한 가상 환경 및 3D 모 선정 21
• 1) 메타휴먼 크리에이터 22
• 2) 언리얼 엔진 가상 환경 22
• 다. 고품질 데이터 생성을 위한 가상 스튜디오 파이프라인 23
• 1) 메타휴먼 모델 적용 및 환경 구성 23
• 2) 정밀한 각도 제어 및 데이터 획득 23
• 라. 입력 데이터 구성 및 전처리 25
• 1) 입력 데이터 구성 25
• 2) 입력 데이터 전처리 25
• 2-1) 안면 검출 26
• 2-2) 랜드마크 추출 26
• 2-3) 랜드마크 좌표 정규화 27
• 마. 앙상블 학습 모델 27
• 1) 앙상블 구조 28
• 2) 과적합 방지 29
• 3) 학습 최적화 방법 29
• 4) 추론 29
• 4. 실험 및 결과 30
• 가. 실험 환경 30
• 나. 데이터셋 구성 31
• 1) 합성 데이터셋 31
• 2) 실제 데이터셋 31
• 3) 혼합 데이터셋 31
• 다. 평가 지표 32
• 라. 학습 결과 33
• 1) 초기 모델의 성능 평가 33
• 2) 모델 성능 개선 34
• 2-1) 파인튜닝 기법을 통한 학습 모델 성능 개선 34
• 2-2) 혼합 데이터 학습을 통한 학습 모델 성능 개선 35
• 3) 학습 모델 최적화 37
• 3-1) 활성 함수 및 학습률 변경 실험 37
• 3-2) 데이터 증강 기법 적용 39
• 3-3) 손실 함수 변경 실험 42
• 마. 앙상블 기법을 통한 성능 최적화 43
• 1) 최적의 앙상블 모델 수 결정 43
• 사. 학습 데이터 비율 비교 49
• 1) 혼합 비율에 따른 성능 분석 49
• 2) 데이터 총량 고정 실험 52
• 아. 최종 성능 비교 및 분석 53
• 5. 결론 및 향후 연구 54
• 참고 문헌 56
• Abstract(영문초록) 60