Amodal Feature Driven Active 3D Object Reconstruction under Ground Environments : 아모달 정보를 이용한 지상 환경에서의 능동 시점 3차원 객체 복원 연구

다국어 초록 (Multilingual Abstract)

This thesis proposes a novel active 3D object reconstruction framework under ground environments designed to handle the challenges of real-world environments with frequent and diverse occlusions. Our approach employs a viewpoint selection policy that leverages amodal segmentation features, allowing the robot to reason about partially occluded objects and select informative viewpoints that improve reconstruction quality while minimizing trajectory length. To guide the robot toward observing occluded regions, we introduce an occlusion-aware reward using amodal features that encourages uncovering hidden surfaces. For training and evaluation, we construct two occlusion-centric benchmark datasets (Occ-House3K and Occ-OmniObject3D) within the simulated environment. Our method achieves superior reconstruction coverage and path efficiency compared to existing state-of-the-art methods originally designed for aerial views, with coverage ratio improvements of approximately 2.04% and 3.05%, and trajectory length reductions of up to 45.04 meters. These results demonstrate a robust, embodied solution for scene understanding from a ground-view perspective.

국문 초록 (Abstract)

본 논문에서는 실제 환경에서 빈번하고 다양한 가림 현상을 효과적으로 처리할수 있는 지상 시점 기반 능동형 3차원 객체 복원 프레임워크를 제안한다. 제안하는 방법은 객체의 가려진 부분도 예측하는 아모달 분할 특징 임베딩을 활용한시점 선택 정책을 도입하여, 로봇 등의 에이전트가 부분적으로 가려진 객체를 추론하고 복원 품질을 향상시키는 동시에 궤적 길이를 최소화할 수 있도록 한다. 또한 가려진 영역을 효과적으로 관찰하기 위하여 아모달 특성에 기반한 가려짐 인지형 보상을 설계하여 에이전트가 숨겨진 표면을 탐색하도록 유도한다. 학습 및 평가를 위하여 시뮬레이션 환경 내에서 가려짐 중심의 두 가지 벤치마크 환경 데이터셋인 Occ-House3K와 Occ-OmniObject3D를 구축하였다. 실험결과, 제안 기법은 기존의 항공 시점을 기반으로 설계된 최신 기법들과 비교하여 약 2.04% 및 3.05%의 복원률 향상과 최대 45.04 m의 궤적 길이 단축을 달성하였다. 제안된 데이터셋을 이용한 광범위한 실험을 통해 해당 방법이 지상 시점에서의 3차원 객체 복원 성능을 향상시키고, 3차원 장면 이해에 있어 견고한 해결책으로 기능할 수 있음을 입증한다.

목차 (Table of Contents)

• 1. Introduction 1
• 1.1 Active 3D Object Reconstruction under Ground Environments 1
• 1.2 Contributions 5
• 1.3 Outline 6
• 2. Related Work 7
• 2.1 Active 3D Object Reconstruction 7
• 2.2 Navigation-based 3D Reconstruction 7
• 2.3 Occlusion-aware 3D Reconstruction 8
• 2.4 Amodal Segmentation 8
• 3. Proposed Dataset 10
• 3.1 Occlusion Environment Dataset 10
• 3.1.1 Statistics of Occlusion Environment Dataset 11
• 3.1.2 Configuration of Occlusion Environments Dataset 13
• 3.1.3 Occluders in Occlusion Environments Datset 13
• 3.2 Amodal Dataset 15
• 3.2.1 Statistics of Amodal Dataset 15
• 3.2.2 Amodal Data Generation Pipeline 16
• 3.2.3 Training Amodal Segmentation Model 18
• 3.2.4 Amodal prediction on Occlusion Environment Dataset 20
• 4. Methodology 23
• 4.1 Amodal-centric Feature Embedding Strategy 24
• 4.2 Occlusion-Aware Viewpoint Selection Policy 25
• 4.2.1 Occlusion Reward 25
• 4.2.2 Optimization for 3D Object Reconstruction in Ground
• Environments 27
• 4.3 Auxiliary Rewards Design 30
• 4.3.1 Coverage Threshold Reward 30
• 4.3.2 Collision Penalty 31
• 4.3.3 Step Cost 31
• 4.3.4 Intrinsic Reward 32
• 4.3.5 Scaling Factor Setting 33
• 5. Experiments 34
• 5.1 Datasets 34
• 5.2 Evaluation setup 34
• 5.3 Implementation Details 36
• 5.4 Experiment Results 36
• 5.4.1 Comparison of Reconstruction Quality Performance . 37
• 5.4.2 Comparison of Optimal Trajectory Performance 38
• 5.4.3 Real-world Feasibility 38
• 5.5 Ablation Study 39
• 5.5.1 Impact of Occlusion Reward and Amodal Embedding 40
• 5.5.2 Embedding Strategy Experiments 41
• 5.6 Qualitative Results 43
• 6. Conclusion 45
• 7. Future Work 46
• References 47
• Abstract (In Korean) 52