Human Avatar and Panorama Generation for Virtual Reality

국문 초록 (Abstract)

본 학위논문에서는 실감적인 소통의 장을 구현하기 위해, 파노라마 이미지의 생성과 이에 입력하여 주체적으로 소통할 디지털 인간 모델의 복원 기술을 제안한다. 단일 각도의 입력 만으로 모델을 복원하는 것은 분명 경제적이나, 단일 입력 상에서 관찰할 수 없는 폐색 영역 복원을 실시하기 난해하다는 어려움이 있다. 또한 파라미터 기반 모델을 보조입력으로 사용하는 경우, 자세 정보 만으로는 깊이 모호함이나 의상, 머리카락 등 세밀한 정보를 복원하기 어렵다는 한계가 있다. 따라서, 본 논문에서는 깊이 맵 투영과 이미지-이미지 변환 보조 신경망을 사용해 두 가지 어려운 문제를 극복하는 방법을 제안한다. 추가적으로, 딥러닝 신경망을 통해 파노라마 이미지를 구성하기 위하여 완전한 360 정답 이미지없이 이미지 스티칭을 훈련하는 방법을 제안한다. 제안하는 방법을 통해, 비용이 큰 라벨링 절차없이 빠른 속도로 강인한 이미지 스티칭을 수행할 수 있다.

다국어 초록 (Multilingual Abstract)

In this thesis, I propose a reconstruction method to digitize a human model and a stitching method to generate panoramic images to implement a immersive field of telecommunication. 3D reconstruction with only a single input is economical, but there is a difficulty in estimating occluded areas that cannot be observed on a single input. In addition, when a parametric model is used as an auxiliary input, there is a limitation of depth ambiguity only with its pose information, and it is difficult to estimate detailed information such as clothes and hair. Therefore, depth map projection and image-image transformation are developed to overcome two challenging problems. Then, a method for training image stitching without a complete 360 ground truth image is proposed to construct a panorama image through a deep learning neural network. Through the proposed method, content-aware and faster stitching becomes possible without a costly labeling procedure.

목차 (Table of Contents)

• I INTRODUCTION
• 1.1 Introduction
• 1.2 Human Reconstruction Network
• 1.3 Image Stitching Network
• II RELATED WORKS
• 2.1 Human Reconstruction via Statistical Template
• 2.2 Human Reconstruction via Implicit Function
• 2.3 Hand-crafted Image Stitching Methods
• 2.4 Deep Learning-based Image Stitching Methods
• III RESEARCH METHODS
• 3.1 Depth-Guided Implicit Function for Clothed Human Reconstruction
• 3.1.1 Baseline
• 3.1.2 Generator
• 3.1.3 Depth Projection
• 3.1.4 Reconstruction Networks
• 3.1.5 Training Method
• 3.2 Weakly-Supervised Stitching Network for Real-World Scene Stitching
• 3.2.1 Dataset Preperation
• 3.2.2 Architecture
• 3.2.3 Stitching Process
• 3.2.4 Weak Supervision
• IV EXPERIMENTAL RESULTS
• 4.1 Experiments on Human Reconstruction
• 4.1.1 Implementation Details
• 4.1.2 Evaluation
• 4.1.3 Ablation Studies
• 4.2 Experiments on Image Stitching
• 4.2.1 Implementation Details
• 4.2.2 Evaluation
• 4.2.3 Ablation Studies
• V CONCLUSION
• REFERNCES
• 국문초록