Learning-based approach for effective image depth peeling

다국어 초록 (Multilingual Abstract)

We present a real-time method for multiview synthesis from a single input image. Our approach predicts a depth-peeling–like layered scene representation directly from the image, enabling view-dependent reconstruction without explicit 3D geometry. Previous layer-based approaches attempt to recover full scene geometry or hallucinate entire backgrounds, which are computationally expensive for real-time applications. We define the concept of virtually visible hidden volumes (VVHVs) that geometrically delimit the hidden regions in the source view that become visible in the bounded target views, serving as an effective visibility domain for reconstruction.The layered representation is inferred using a kernel-predicting neural network, which reconstructs occluded regions as a weighted aggregation of visible areas in the input view. Furthermoe, we employ a multi-view image-warping scheme optimized for both the layered scene representation and the bounded set of novel views, enabling fast and consistent multi-view synthesis. Our real-time solution achieves image quality comparable to that of offline single-image novel view synthesis methods, demonstrating both high efficiency and visual fidelity.

국문 초록 (Abstract)

본 논문에서는 단일 입력 이미지로부터 실시간 다중 시점 합성을 수행하는 방법을 제안한다. 제안하는 방법은 입력 이미지로부터 직접 깊이 필링(Depth Peeling) 형태의 다층(scene-layered) 표현을 예측함으로써, 명시적인 3D 기하 복원 과정 없이 시점 의존적인 재구성을 가능하게 한다. 기존의 레이어 기반 접근법들은 전체 장면 기하를 복원하거나 완전히 가려진 배경을 추론하려는 경향이 있으나, 이러한 방식은 실시간 응용에 비해 계산 비용이 매우 크다. 본 연구에서는 가상적으로 보이는 숨겨진 부피(Virtually Visible Hidden Volumes, VVHV) 개념을 정의하였다. 이는 원본 시점에서 가려져 있으나 제한된 범위의 목표 시점에서 드러나는 영역을 기하학적으로 한정하여, 효율적인 재구성 가시성 도메인을 제공한다. 다층 표현은 커널 예측 신경망(Kernel-Predicting Neural Network)을 통해 추론되며, 입력 이미지의 가시 영역으로부터 가려진 영역을 가중 합 형태로 복원한다. 또한, 제안된 방법은 다층 장면 표현과 제한된 목표 시점 집합에 최적화된 다중 시점 이미지 워핑(Multi-view Image Warping) 방식을 활용하여 빠르고 일관된 시점 합성을 실현한다. 제안된 실시간 방법은 오프라인 단일 이미지 기반 시점 합성 기법들과 비교하여 유사하거나 더 우수한 화질을 달성하며, 높은 효율성과 시각적 품질을 동시에입증한다.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• Chapter 2. Related Work 3
• 2.1. Single-Image Novel View Synthesis 3
• 2.2. Layered Scene Representations 4
• 2.3. Kernel-driven Image Reconstruction 5
• Chapter 3. Virtually Visible Hidden Volume (VVHV) 6
• Chapter 4. Method 8
• 4.1. Input Feature Gathering 9
• 4.2. Structural Feature Extractor 11
• 4.3. Differentiable Spatial Sampling 12
• 4.4. Kernel Weight Prediction via Attention 14
• 4.5. Loss Function 15
• 4.6. Compute Shader Integration 18
• 4.7. Image-based ray tracer for view warping 20
• Chapter 5. Comparisons and Results 22
• 5.1. Dataset and Implementation 22
• 5.2. Comparison with Previous Methods 23
• 5.3. Ablation Studies 26
• Chapter 6. Conclusion 27
• References 28