AvaSca : pose-dependent local dynamic modeling for high-fidelity human gaussian avatars modeling

국문 초록 (Abstract)

최근 뉴럴 방사장(NeRF)과 3D 가우시안 스플래팅(3DGS) 등의 3차원 복원 기술의 발전으로, 다중 시점 비디오로부터 애니메이팅인 가능한 고품질의 3D 인간 아바타를 정밀하게 모델링할 수 있게 되었다. 대부분의 방법들은 다양한 포즈에서 아바타를 제어하기 위해 SMPL(Skinned Multi-person Linear Model)과 같은 일반화된 템플릿 인간 모델을 활용하지만, 여전히 고품질 렌더링과 실시간 성능 사이의 상충관계 문제를 겪고 있다. 이러한 상충은 주로 고비용의 신경망과 보간(interpolation) 기반의 모델링의 두 가지 설계 선택에서 비롯된다. 고비용 신경망은 세밀한 디테일을 잘 포착하지만, 계산 비용이 커서 실시간 성능을 달성하기 어렵다. 반면, 보간 기반 방법은 고정된 앵커 지점에서 특징을 보간하여 경량화를 달성하지만, 이로 인해 고주파 영역에서는 과도한 평탄화 문제가 발생하고, 매끄러운 영역에서는 불필요한 중복 표현이 생긴다. 이에 본 논문에서는 앵커 기반의 뉴럴 가우시안 기법을 도입하여 고품질 세부 표현과 실시간 아바타 렌더링을 동시에 달성한다. 각 앵커 포인트마다 공간적으로 분포된 경량 MLP를 포함하고 있고, 이를 통해 포즈 의존적 국소 지역의 특징을 학습하고 뉴럴 가우시안을 예측한다. 이 방법은 학습 과정에서 앵커의 위치와 개수를 동적으로 조정하여, 세밀한 디테일이 필요한 영역에서는 새로운 앵커를 추가하고, 매끄러운 영역에서는 중복을 제거한다. 이 연구는 두 개의 표준 벤치마크 데이터셋에서 최신 모델들을 능가하는 성능을 보이며, 렌더링 속도를 저하시키지 않고 우수한 결과를 달성한다.

다국어 초록 (Multilingual Abstract)

Recent advances in novel view synthesis, such as NeRF and 3D Gaussian Splatting (3DGS), have enabled the high-fidelity modeling of animatable 3D human avatars from multi-view videos. Most methods leverage generic template human models, such as Skinned Multi-person Linear Models (SMPL), to control avatars across diverse poses, yet they still face a trade-off between high-fidelity rendering and real-time performance. This trade-off mainly arises from two design choices: heavy networks and interpolation-based methods. While heavy networks can capture fine details, they are computationally expensive and fail to achieve real-time performance. In contrast, interpolation-based methods adopt a lightweight design by interpolating features from fixed anchor points, but this often leads to over-smoothing in high-frequency regions and redundant representations in smooth areas.
Therefore, we present AvaSca, an adaptive anchor-based framework that achieves real-time human avatar rendering with high-fidelity detail. Each adaptively placed anchor point is associated with a spatially distributed lightweight MLP that predicts neural Gaussians and captures local pose-dependent features. AvaSca dynamically adjusts the number and positions of anchor points, adding anchors in fine-detail regions while avoiding redundancy in smooth areas.
AvaSca demonstrates superior performance to state-of-the-art models on two standard benchmark datasets, without degrading rendering speed.

목차 (Table of Contents)

• Chapter 1. INTRODUCTION 1
• Chapter 2. RELATED WORKS 5
• 2.1. 3D SCENE RECONSTRUCTION 5
• 2.2. DYNAMIC SCENE RECONSTRUCTION 6
• 2.3. NEURAL RENDERING OF HUMAN AVATAR 7
• Chapter 3. MEHTOD 9
• 3.1. PRELIMINARIES 9
• 3.2. NEURAL GAUSSIAN HUMAN AVATAR 11
• 3.3. GLOBAL-LOCAL POSITION OFFSETS HIERARCHY 13
• 3.4. LOSS FUNCTION 15
• Chapter 4. EXPERIMENTS 16
• 4.1. EVALUATION DATASETS 16
• 4.2. METRICS 17
• 4.3. COMPARISON 18
• 4.3.1 Qualitative Results 18
• 4.3.2 Quantitative Results 19
• 4.4. ABLATION STUDY 22
• Chapter 5. LIMITATION and DISCUSSION 25
• Chapter 6. CONCLUSION 27
• References 28
• Appendix 39