3차원 얼굴 모델링을 위한 검색기반 헤어 모델 증강 = Retrieval-Based Hair Model Augmentation for 3D Face Modeling

국문 초록 (Abstract)

주어진 영상으로부터의 3차원 얼굴 모델링은 얼굴 분석, 애니메이션, 생체 인식 등의 많은 컴퓨터비전 및 그래픽스 응용분야에서 중요한 역할을 하고 있다. 그 중에서도 헤어 영역은 얼굴에 비해 모양의 다양성과 모델의 복잡도가 현저히 높다. 기존의 연구는 주로 얼굴 영역에 한정한 3차원 얼굴 모델링을 중심으로 이루어졌지만 헤어 모델링은 중요하게 다루지 않고 있는 경우가 많다. 본 논문에서는 심층인공신경망의 일종인 FCN (fully connected network)을 이용하여 인물 영상에서 헤어 부분을 영역화하고, 영역화 결과와 가장 유사한 3D 헤어 모델을 데이터베이스에서 검색하여 3차원 얼굴 모델에 증강함으로써 완전한 얼굴 모델링을 수행하는 방법을 제안한다. 이는 FCN을 이용하여 다양한 인물 영상에 대하여 네트워크 학습을 수행하는 과정과 3D 헤어 데이터베이스의 구축 과정을 포함한다. 실험 결과 적절한 수준의 헤어 모델이 3차원 얼굴 모델링 결과물에 증강됨을 확인하였다.

다국어 초록 (Multilingual Abstract)

Building a 3D head model from images is a good strategy that can be used in various fields such as facial analysis, face animation, and biometric recognition. In particular, the part of the head with hair has a variety of shapes and increased complexity compared to face. However, previous studies mainly focused on 3D face modeling for only facial region, leaving out hair modeling. In this paper, a method to retrieve the most similar 3D hair model from the database is proposed. Projected 3D hair models are compared with the segmented hair region which is extracted using FCN (fully connected network). The retrieved 3D hair model is augmented on 3D face model so that a complete head is modeled with face and hair. The proposed method includes network training and 3D hair database building. Experimental result shows that proper hair models are augmented successfully on the 3D face modeling result.

참고문헌 (Reference)

1 L. Luo, "Structure-aware hair capture" 32 (32): 76-, 2013

2 L. Hu, "Single-view hair modeling using a hairstyle database" 34 (34): 125-, 2015

3 M. Chai, "Single-view hair modeling for portrait manipulation" 31 (31): 116-, 2012

4 "Maysims"

5 T. L. Herrera, "Lighting hair from the inside : A thermal approach to hair reconstruction" 31 (31): 146-, 2012

6 S. Paris, "Hair photobooth : Geometric and photometric acquisition of real hairstyles" 27 (27): 30-, 2008

7 U. R. Muhammad, "Hair detection, segmentation, and hairstyle classification in the wild" 71 : 25-37, 2018

8 C. Rother, "GrabCut : interactive foreground extraction using iterated graph cuts" 23 (23): 309-314, 2004

9 J. Long, "Fully convolutional networks for semantic segmentation" 3431-3440, 2015

10 M. Svanera, "Figaro, hair detection and segmentation in the wild" 933-937, 2016

11 M. Chai, "Dynamic hair manipulation in images and videos" 32 (32): 75-, 2013

12 W. Jakob, "Capturing hair assemblies fiber by fiber" 28 (28): 164-, 2009

13 J. I. Echevarria, "Capturing and stylizing hair for 3D fabrication" 33 (33): 125-, 2014

14 X. Shen, "Automatic portrait segmentation for image stylization" 35 (35): 93-102, 2016

15 M. Chai, "AutoHair : Fully automatic hair modeling from a single image" 35 (35): 116-, 2016

16 V. Blanz, "A morphable model for the synthesis of 3D faces" 187-194, 1999

17 X. Yuan, "3D head modeling from uncalibrated three images" 2018