실루엣 투영과 ViT–PIFu 특징 융합을 이용한 논파라메트릭 3D 인체 복원 연구 = Non-parametric 3D Human Body Reconstruction Using Silhouette Projection and ViT–PIFu Feature Fusion

다국어 초록 (Multilingual Abstract)

This study proposes ViSP, a non-parametric 3D human body reconstruction framework that reconstructs a full-body mesh from a single frontal RGB image. Existing pixel-aligned implicit reconstruction methods can represent detailed human geometry without relying on parametric body templates, but their performance is often affected by unstable 2D–3D projection alignment and limited global structure representation. To address these limitations, ViSP introduces silhouette-based projection and ViT–PIFu feature fusion.
The silhouette-based projection module estimates scale, offset, and rotation from the human silhouette, thereby stabilizing the alignment between 2D image features and 3D query points without requiring ground-truth camera calibration. The feature fusion module combines global features extracted from a Vision Transformer with local features extracted from a PIFu-based Hourglass network, allowing the model to capture both whole-body proportions and local surface details.
Experiments on the AI Hub Korean full-body dataset show that ViSP improves 3D geometric reconstruction quality in terms of CD, P2S, mIoU, and NC compared with existing reconstruction methods. Additional experiments on the THuman 2.0 dataset also demonstrate stable reconstruction performance across diverse body shapes and poses. Ablation studies confirm that silhouette-based projection is a key component for improving 2D–3D projection alignment, while ViT-based global features further enhance structural consistency. In an application experiment, ViSP-based reconstructed meshes achieved lower prediction errors in body composition and body size estimation than meshes reconstructed by comparison models and a multiview 2D image-based baseline.
These results indicate that the proposed silhouette-based projection and ViT–PIFu feature fusion can improve non-parametric 3D human body reconstruction without depending on parametric templates or predefined camera calibration. The proposed framework provides a practical basis for 3D body digital twin applications such as body measurement, mobile healthcare, virtual fitting, and digital human generation.

목차 (Table of Contents)

• 제1장 서 론 1
• 제1절 연구의 목적 1
• 제2절 연구의 범위 및 방법 3
• 1. 연구의 범위 3
• 2. 연구의 방법 5
• 제2장 연구에 관한 이론적 배경 7
• 제1절 3D 인체 복원 기법 7
• 1. 파라메트릭（Parametric） 모델링 8
• 2. 논파라메트릭（Non-parametric） 모델링 10
• 제2절 PIFu （Pixel-Aligned Implicit Function） 11
• 1. 내재적 표면 표현 （Implicit Surface Representation） 11
• 2. 픽셀 정렬 특징 추출 （Pixel-aligned Feature） 13
• 제3절 Vision Transformer （ViT） 21
• 1. 패치 분할 및 선형 임베딩 22
• 2. Self-Attention을 통한 global 상호작용 모델링 23
• 3. 본 연구에서의 활용 24
• 제3장 방법론 25
• 제1절 전체 프레임 워크 25
• 1. 모델 구조 개요 25
• 2. 데이터 전처리 및 입력 구성 27
• 제2절 특징 추출 및 융합 27
• 1. ViT 기반 global 특징 추출 27
• 2. Hourglass 기반 local 특징 추출 28
• 3. global, local 특징 융합 29
• 제3절 실루엣 기반 카메라 좌표계 추정 31
• 1. 실루엣 바운딩 박스 추출 31
• 2. PIFu 표준 좌표계 기반 메쉬 정규화 31
• 3. 스케일, 오프셋 파라미터 산출 및 최적 회전 각도 선택 32
• 4. 카메라 좌표계 캐시 및 재사용 34
• 제4절 픽셀 정합 내재 함수 기반 3D 형상 복원 35
• 1. 3D 포인트 샘플링과 occupancy 라벨링 35
• 2. 3D 포인트 투영 및 픽셀 정렬 특징 추출 36
• 3. occupancy 예측과 메쉬 복원 36
• 제5절 손실 함수 및 학습 전략 37
• 1. 3D 복원 손실 37
• 2. 학습 전략 37
• 제4장 실험 및 결과 41
• 제1절 실험 설정 41
• 1. 데이터셋 구성 및 전처리 41
• 2. 평가 지표 44
• 3. 구현 상세 46
• 제2절 3D 인체 복원 성능 평가 47
• 1. AI Hub 데이터셋 기반 성능 비교 48
• 2. THuman 2.0 데이터셋 기반 3D 복원 성능 비교 51
• 3. Ablation Study 55
• 4. Multi-view Configuration 58
• 제3절 응용 실험 61
• 1. 체성분 및 신체 치수 예측 61
• 제5장 결 론 66
• 참 고 문 헌 69
• ABSTRACT 76