Enhancing Few-shot Novel View Synthesis with Advanced Ray Processing in Neural Radiance Fields = 신경 복사장의 향상된 레이 처리 기법을 통한 소수샷 기반 새로운 시점 합성 개선

다국어 초록 (Multilingual Abstract)

Novel view synthesis, a fundamental task in computer vision, aims to generate photo-realistic images from unseen viewpoints given a set of training images. Despite remarkable progress enabled by Neural Radiance Fields (NeRF), performance significantly deteriorates under conditions where only a sparse set of training views is available, resulting in noisy artifacts, inaccurate geometry, and reduced visual fidelity. Recent approaches, including regularization-based and pre-training methods, have attempted to address these limitations but typically require extensive datasets or meticulously designed heuristics, often making them impractical for broader real-world applications.
In this dissertation, we propose advanced ray-processing strategies tailored explicitly for few-shot novel view synthesis, addressing shortcomings in existing methods. Specifically, we introduce three novel frameworks: MixNeRF, FlipNeRF, and ARC-NeRF, each targeting distinct but complementary aspects of ray-based scene modeling.
First, we present MixNeRF, which employs a mixture density model to represent rays. Unlike traditional approaches, MixNeRF robustly handles sparse inputs by effectively modeling complex multimodal distributions of blending weights along rays, thus leading to more precise 3D geometry under sparse-view conditions. This probabilistic representation significantly improves geometric consistency, reduces visual artifacts, and enhances overall rendering quality.
Second, we propose FlipNeRF, a novel ray augmentation technique that leverages estimated surface normals to generate flipped reflection rays. By introducing flipped reflection rays as additional training data, FlipNeRF enhances the accuracy of geometric reconstruction under sparse-view settings. To further refine training effectiveness, we introduce additional loss terms—Uncertainty-aware Emptiness Loss, which effectively mitigates floating artifacts by accounting for output uncertainty, and Bottleneck Feature Consistency Loss, which encourages feature-level consistency between paired rays, significantly boosting the fidelity and robustness of synthesized views.
Third, we introduce ARC-NeRF, an Area Ray Casting strategy that utilizes Integrated Positional Encoding (IPE) for improved ray parameterization. Unlike conventional ray augmentation methods, ARC-NeRF employs a single ray parameterized by IPE to cover broader unseen viewing regions effectively. Additionally, thanks to IPE-driven adaptive high-frequency regularization, ARC-NeRF dynamically regulates the high-frequency components of scene representation based on the pixel photo-consistency throughout the training, preventing early overfitting while preserving fine-grained detail.
Finally, we systematically analyze and integrate these advanced ray processing methods, demonstrating notable performance improvements over state-of-the-art baselines on benchmark datasets, including Realistic Synthetic 360°, DTU, LLFF, and Shiny Blender. Our comprehensive approach effectively addresses critical challenges inherent in sparse-view scenarios, advancing the practical applicability of NeRF-based novel view synthesis.

국문 초록 (Abstract)

새로운 시점 합성은 컴퓨터 비전에서 핵심적인 과제로, 주어진 훈련 이미지들을 바탕으로 관측되지 않은 시점에서의 사실적인 이미지를 생성하는 것을 목표로 한다. 신경 복사장(Neural Radiance Fields (NeRF))의 도입으로 해당 분야는 큰 발전을 이루었으나, 제한된 수의 시점만 제공되는 sparse-view 환경에서는 성능이 급격히 저하되어 노이즈 아티팩트, 부정확한 기하 복원, 시각적 선명도 저하 등의 문제가 발생한다. 최근에는 정규화 기반 기법이나 사전학습 기반 방법들이 이러한 한계를 해결하고자 시도되었지만, 대체로 대규모 데이터셋이나 정교한 휴리스틱 설계에 의존하게 되어 실제 환경에서의 적용에는 한계가 있다.
본 논문에서는 적은 입력 환경에 특화된 시점 합성을 위해 광선 처리 전략들을 새롭게 제안함으로써 기존 방법들의 단점을 극복하고자 한다. 구체적으로, 광선 기반 장면 모델링의 상이한 측면을 겨냥한 세 가지 새로운 프레임워크인 MixNeRF, FlipNeRF, ARC-NeRF를 제안한다.
우선, MixNeRF는 각 광선을 혼합 밀도 모델로 표현함으로써 기존의 단일 예측 기반 접근법과 달리 복잡한 다중 모드 분포를 효과적으로 모델링하고, 적은 입력 조건에서도 더 정밀한 3차원 기하 복원이 가능하도록 한다. 이러한 확률적 표현은 기하학적 일관성을 향상시키고, 시각적 아티팩트를 줄이며, 전반적인 렌더링 품질을 개선하는 데 기여한다.
다음으로, FlipNeRF는 표면 법선을 추정하여 대칭 반사 광선을 생성하고 이를 추가적인 학습 데이터로 활용하는 새로운 광선 증강 기법을 제안한다. 이러한 대칭 반사 광선은 적은 입력 조건에서의 기하 복원 정확도를 높이는 데 도움을 주며, 학습 안정성을 높이기 위해 두 가지 손실 함수로, 출력의 불확실성을 고려하여 부유 아티팩트를 억제하는 불확실성 기반 공허 손실(Uncertainty-aware Emptiness Loss)과 쌍을 이루는 광선 간 특성 수준의 일관성을 유지시키는 병목 특성 일관성 손실(Bottleneck Feature Consistency Loss)을 추가로 도입하였다.
마지막으로, ARC-NeRF는 통합 위치 인코딩(Integrated Positional Encoding)을 활용하여 단일 광선이 더 넓은 미관측 시점을 효과적으로 커버하도록 하는 영역 기반 광선 투사 전략을 제안한다. 또한, 픽셀 단위의 광도 일관성에 기반하여 고주파 성분을 동적으로 조절하는 적응형 고주파 정규화 기법을 통해 훈련 초기 과적합을 방지하고, 세부 묘사를 보존한다.
끝으로, 본 논문은 이러한 광선 처리 기법들을 체계적으로 분석하고 실험을 통해 검증하였으며, Realistic Synthetic 360°, DTU, LLFF, Shiny Blender와 같은 벤치마크 데이터셋에서 기존 최신 기법 대비 뛰어난 성능 향상을 보였다. 제안된 방법은 적은 시점 상황에서의 주요 문제를 효과적으로 해결하며, 신경 복사장 기반 새로운 시점 합성의 실제 활용 가능성을 한층 넓혔다.

목차 (Table of Contents)

• 1 Introduction 1
• 1.1 Problem Definition 3
• 1.2 Challenges 4
• 1.2.1 Ambiguity and Incompleteness under Sparse Supervision 5
• 1.2.2 Overfitting and Lack of Generalization 5
• 1.2.3 Dependence on Additional Training Resources 5
• 1.3 Contributions 6
• 1.3.1 MixNeRF: Modeling a Ray with Mixture Density 6
• 1.3.2 FlipNeRF: Flipped Reflection Rays as Ray Augmentation 7
• 1.3.3 ARC-NeRF: Area Ray Casting for Broader Unseen View Coverage 7
• 1.4 Outline 8
• 2 RelatedWorks 9
• 2.1 Neural Scene Representations 9
• 2.2 Few-shot Novel View Synthesis 10
• 2.3 Mixture Density Model 11
• 2.4 Ray Augmentation and Parameterization 12
• 2.5 Datasets 13
• 2.5.1 LLFF Dataset 13
• 2.5.2 DTU Dataset 15
• 2.5.3 Realistic Synthetic 360◦ 15
• 2.5.4 Shiny Blender 15
• 2.6 Evaluation Metrics 16
• 2.6.1 Peak Signal-to-Noise Ratio (PSNR) 16
• 2.6.2 Structural Similarity Index Measure (SSIM) 16
• 2.6.3 Learned Perceptual Image Patch Similarity (LPIPS) 16
• 3 Preliminaries 18
• 3.1 Neural Radiance Field (NeRF) 18
• 3.2 Mip-NeRF 19
• 4 MixNeRF: Modeling a Ray with Mixture Density 21
• 4.1 Introduction 21
• 4.2 Methods 23
• 4.2.1 Modeling a Ray with Mixture Density Model 24
• 4.2.2 Depth Estimation by Mixture Density Model 27
• 4.2.3 Total Loss 28
• 4.2.4 Implementation Details 29
• 4.3 Experiments 30
• 4.3.1 Experimental Details 30
• 4.3.2 Analysis of MixNeRF 31
• 4.3.3 Ablation Study 36
• 4.3.4 Comparison with other Baselines 39
• 4.4 Conclusion 40
• 5 FlipNeRF: Flipped Reflection Rays as Ray Augmentation 45
• 5.1 Introduction 45
• 5.2 Methods 49
• 5.2.1 Auxiliary Flipped Reflection Ray 50
• 5.2.2 Uncertainty-aware Regularization 53
• 5.2.3 Bottleneck Feature Consistency 54
• 5.2.4 Total Loss 55
• 5.3 Experiments 55
• 5.3.1 Experimental Settings 55
• 5.3.2 Analysis of FlipNeRF 58
• 5.3.3 Ablation Study 64
• 5.3.4 Comparison with other Baselines 65
• 5.4 Conclusion 70
• 6 ARC-NeRF: Area Ray Casting for Broader Unseen View Coverage 71
• 6.1 Introduction 71
• 6.2 Methods 74
• 6.2.1 Area Ray Casting 75
• 6.2.2 Luminance Consistency Regularization 78
• 6.2.3 Total Loss 79
• 6.2.4 Implementation Details 80
• 6.3 Experiments 82
• 6.3.1 Experimental Details 82
• 6.3.2 Analysis of ARC-NeRF 83
• 6.3.3 Ablation Study 88
• 6.3.4 Comparison with other Baselines 90
• 6.4 Conclusion 93
• 7 Conclusion 96
• 7.1 Summary 96
• 7.2 Limitations and Future Works 98
• 7.2.1 Handling of Background and Non-object Regions 98
• 7.2.2 Generalization to Unbounded and Complex Scenes 98
• 7.2.3 Surface Representation and View-dependent Effects 99
• 7.2.4 Resource Overhead and Efficiency 99
• 7.2.5 Extending NeRF-Based Methods to 3D-GS Frameworks 99
• Abstract (In Korean) 114
• 감사의 글 116