Deformable gaussian-mesh joint optimization for dynamic scene reconstruction

국문 초록 (Abstract)

동적 장면 재구성은 비디오로부터 시간적으로 일관된 고품질 기하를 복원하는 것을 목표로 하며, 이는 가상·증강현실, 로보틱스, 콘텐츠 제작 등 다양한 응용 분야에서 핵심적인 과제이다. 최근 NeRF와 가우시안 스플래팅 기반 기법들은 사실적인 영상 합성 성능을 크게 향상시켰지만, 명시적인 표면 표현이 부족하고 시간에 따른 기하적 일관성이 떨어진다는 한계를 가진다. 본 연구에서는 변형 가능한 3차원 가우시안 스플래팅을 기반으로 한 동적 미분 가능 메시 재구성 프레임워크를 제안한다. 핵심 아이디어는 가우시안에 학습 가능한 부호 거리 변형 필드를 부여하여, 시간에 따라 일관되게 변형되는 단일 정준 표면을 학습하는 것이다. 정준 공간에서 고정된 사면체 분할을 통해 표면 연결성을 유지하며, 미분 가능한 마칭 사면체 기법을 적용하여 각 시점마다 명시적인 메시를 추출한다. 또한, 기하적으로 복잡한 영역에서 가우시안을 선택적으로 밀집시키기 위해 가우시안–메시 간 감독 신호와 메시 유도 클로닝 기법을 도입한다. 이러한 통합 프레임워크는 고품질의 명시적 표면과 시간적으로 안정적인 4차원 재구성을 가능하게 하며, 동적 가우시안 스플래팅을 활용하는 기하 인식 기반 응용을 효과적으로 지원한다.

다국어 초록 (Multilingual Abstract)

Dynamic scene reconstruction aims to recover high-quality, temporally consistent geometry from video, which is essential for VR/AR, robotics, and content creation. While NeRF and Gaussian splatting have advanced photorealistic rendering, they often lack explicit surfaces and suffer from temporal inconsistency. We introduce a dynamic differentiable mesh reconstruction framework built upon deformable 3DGS. Our key idea is to endow Gaussians with a learnable signed distance deformation field, enabling a single canonical surface that deforms coherently over time. A canonical tetrahedralization fixes surface connectivity, and differentiable Marching Tetrahedra extracts explicit meshes at each time step. We further introduce GS–Mesh supervision and mesh-guided cloning to adaptively densify Gaussians in geometrically challenging regions. This unified framework produces explicit, high-fidelity, and temporally coherent 4D reconstructions, supporting geometry-aware applications with dynamic Gaussian splatting.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• Chapter 2. Related Works 4
• 2.1 Dynamic Scene Reconstruction 4
• 2.2 Surface Reconstruction 5
• 2.3 Differentiable Surface Extraction 6
• Chapter 3. Preliminary 7
• 3.1 Deformable 3D Gaussians 7
• 3.2 Mesh-In-the-Loop 8
• Chapter 4. Methods 10
• 4.1 Mesh Deformation 11
• 4.1.1 Canonical Voronoi sites 11
• 4.1.2 Dynamic SDF deformation 12
• 4.1.3 Temporal vertex deformation 12
• 4.2 Mesh-Guided Cloning 13
• 4.2.1 Vertex-wise geometric residuals 13
• 4.2.2 Motion-aware weighting 14
• 4.2.3 Cloning Gaussians near important faces 14
• 4.3 Training Objective 15
• 4.3.1 Rendering Loss 15
• 4.3.1.1 Gaussian Rendering loss 15
• 4.3.1.2 Normal consistency loss 16
• 4.3.2 GS-Mesh Loss 16
• 4.3.2.1 GS-Mesh RGB Loss 17
• 4.3.2.2 GS-Mesh Depth Loss 17
• 4.3.2.3 GS-Mesh Normal Loss 17
• 4.3.3 Regularization 18
• 4.3.3.1 Occupancy constraint 18
• 4.3.3.2 Laplacian regularization 18
• Chapter 5. Experiments 19
• 5.1 Implementation Details 19
• 5.2 Datasets and Metrics 20
• 5.3 Results and Comparisons 20
• 5.4 Ablation 25
• Chapter 6. Conclusion 26
• References 27
• Appendix 36
• A. Overview 36
• B. Additional Details 36
• B.1. Canonical SDF Initialization 36
• B.2. Downsampling of voronoi points 37
• B.3. Initialization & Hyperparamters 38
• B.3.1. Optimization schedule 38
• B.3.2. Mesh supervision 39
• C. Additional Experimental Results 40