스타일화된 만화 캐릭터 이미지를 사용한 전이 학습 기반 매개변수화 3D 메쉬 변형

국문 초록 (Abstract)

메타버스에 대한 관심이 증가함에 따라 개별 사용자를 대표할 수 있는 아바타에 대한 수요 또한 높아졌다. 따라서 현재의 3D 인간 모델링 과정에 필요한 시간과 비용을 줄이기 위한 연구가 수행되었다. 그러나 최근의 3D 인간 자동 생성은 현실적인 인간 형태의 아바타를 만드는 데 중점을 두고 있다. 더욱이, 기존의 방법들은 불균형하거나 비현실적인 몸매의 아바타를 생성하는 데 제한이 있으며, 데이터셋의 부재로 인해 그 활용이 제한된다. 따라서 본 논문은 스타일화된 3차원 아바타를 자동으로 변환하고 생성하기 위한 새로운 프레임워크를 제안한다. 우리의 연구는 현실적인 인간을 만드는 데 중점을 둔 이전의 연구와 대조적으로 비정형적인 형상의 캐릭터 아바타를 만들기 위한 정의적 접근법과 방법론을 제안한다. 우리는 새로운 형태 표현 매개변수를 정의하고 딥 러닝 기반의 방법을 사용하여 캐릭터 몸 정보를 추출한다. 이후 자동 템플릿 메시 변환을 수행하여 비현실적이거나 불균형한 인간 메시를 얻는다. 우리는 결과물을 시각적으로 제시하며, 사용자 평가를 통해 우리의 제안 방법의 효용성을 보여준다. 우리의 접근법은 다양한 형태의 아바타에 대한 증가하는 수요에 맞춰 자동 메시 변환 방법을 제공하며, 기존의 방법을 3D 만화 스타일 아바타 도메인으로 확장한다.

다국어 초록 (Multilingual Abstract)

As interest in the metaverse has grown, there has been a demand for avatars that can represent individual users. Consequently, research has been conducted to reduce the time and cost required for the current 3D human modeling process. However, the recent automatic generation of 3D humans has been focused on creating avatars with a realistic human form. Furthermore, the existing methods have limitations in generating avatars with imbalanced or unrealistic body shapes, and their utilization is limited due to the absence of datasets. Therefore, this paper proposes a new framework for automatically transforming and creating stylized 3D avatars. Our research presents a definitional approach and methodology for creating non-realistic character avatars, in contrast to previous studies that focused on creating realistic humans. We define a new shape representation parameter and use a deep learning–based method to extract character body information and perform automatic template mesh transformation, thereby obtaining non-realistic or unbalanced human meshes. We present the resulting outputs visually, conducting user evaluations to demonstrate the effectiveness of our proposed method. Our approach provides an automatic mesh transformation method tailored to the growing demand for avatars of various body types and extends the existing method to the 3D cartoon stylized avatar domain.

목차 (Table of Contents)

• 제1장 서론 1
• 제1절 연구 배경 및 동기 1
• 제2절 연구 목적 및 내용 5
• 제3절 연구의 구성 8
• 제2장 관련 연구 9
• 제1절 3차원 디지털 휴먼 모델링 연구 9
• 1.1 전통적인 3차원 휴먼 모델링 및 변형 연구 9
• 1.2 3차원 휴먼 모델링 자동화 기술 연구 10
• 1.3 딥러닝 기반 3차원 휴먼 생성 연구 11
• 제2절 스타일화된 3차원 캐릭터 모델링 연구 13
• 2.1 윤곽선 입력 기반 3차원 캐릭터 생성 연구 13
• 2.2 RGB 이미지 입력 기반 3차원 캐릭터 생성 연구 14
• 제3장 매개변수화된 3차원 메쉬 변형 파이프라인 16
• 제1절 딥러닝 기반 캐릭터 이미지 키포인트 추정 연구 18
• 1.1 딥러닝 신경망 전이 학습 18
• 1.2 키포인트 탐지기 평가 결과 및 시각화 21
• 제2절 3차원 메쉬의 부분적 변형 24
• 2.1 스타일화된 캐릭터의 신체 구조 측정 매개변수 정의 24
• 2.2 딥러닝 기반 3차원 메쉬 분할 26
• 2.3 3D Free Form Deformation 기반 신체 부분적 변형 26
• 제4장 결과 도출 및 평가 30
• 제1절 도출된 메쉬 시각화를 통한 정성적 평가 30
• 제2절 사용자 평가를 통한 정량적 평가 34
• 제3절 평가 지표를 통한 정량적 평가 39
• 제4절 가상 콘텐츠 제작 응용 40
• 제5장 결론 및 향후 연구 43
• 참고문헌 45
• 국문초록 50
• ABSTRACT 51