Integration of Dense Matching into Structure-from-Motion = 고밀도 매칭을 활용한 3차원 복원

다국어 초록 (Multilingual Abstract)

Structure-from-Motion (SfM) is fundamental to 3D reconstruction, yet traditional pipelines relying on sparse keypoint matching fail in textureless regions and with repetitive patterns. While recent dense matching methods provide high-quality correspondences in these challenging scenarios, their pairwise nature results in fragmented, geometrically inconsistent tracks that degrade reconstruction quality.
To address these limitations, this thesis introduces two frameworks: Dense Structure-from-Motion (Dense-SfM) and Multi-View Robust Matching (MV-RoMa).
Dense-SfM presents a novel SfM framework designed for dense feature matching, addressing fragmented track problem through track extension and refinement modules that enable more complete and accurate 3D reconstruction even in texture-poor scenes.
MV-RoMa fundamentally resolves the fragmentation issue by redesigning the matching paradigm for multi-view inference. Rather than independently matching image pairs, MV-RoMa directly estimates dense correspondences from one source image to multiple target images. Through track-guided attention and pixel-aligned attention mechanisms, this approach enables effective information exchange across multiple images, achieving more accurate matching performance than conventional pairwise methods while naturally producing geometrically consistent multi-view tracks as model outputs.
Through these contributions, this thesis advances integration of dense matching into practical SfM pipelines, enabling robust 3D reconstruction in challenging scenarios.

국문 초록 (Abstract)

3차원 재구성 연구에서 텍스처가 부족한 표면, 반복적인 패턴, 제한적인 시각 정보를 포함한 장면에 대한 정확한 재구성은 여전히 큰 도전 과제로 남아 있다. 기존의 희소 특징점 기반 움직임 기반 구조 (SfM) 파이프라인은 이러한 환경에서 충분한 특징점을 검출하지 못하고, 검출된 특징점의 수가 제한적이어서 조밀한 3차원 재구성이 어렵다는 근본적인 한계를 가지고 있다.
최근 제안된 고밀도 매칭 기법들이 이러한 어려운 환경에서 고품질의 대응점을 제공하지만, 쌍별(pairwise) 매칭 방식으로 인한 트랙 파편화 문제로 전통적인 SfM 파이프라인과의 효과적인 통합이 어려웠다.
본 논문에서는 이러한 한계를 극복하기 위해 고밀도 매칭을 SfM 파이프라인에 효과적으로 통합하는 두 가지 상호 보완적인 접근법을 제안한다. 첫 번째는 효과적인 후처리를 통한 쌍별 매칭 결과의 확장 및 정제이고, 두 번째는 다중 뷰 추론을 위해 새롭게 설계된 고밀도 매칭 모델이다.
첫 번째 기여인 Dense-SfM은 고밀도 이미지 매칭 활용에 적합한 SfM 프레임워크로, 가우시안 스플래팅(Gaussian Splatting)을 활용한 트랙 확장과 새롭게 제시된 다중 뷰 트랙 정제(track refinement) 모듈을 통해 트랙 파편화 문제를 해결하여 고밀도이면서 정확한 3차원 점과 카메라 측위를 복원한다.
두 번째 기여인 MV-RoMa는 매칭 패러다임을 재설계하여 다중 뷰 고밀도 매칭을 통해 트랙 파편화의 근본적인 원인을 해결한다. 이미지 쌍을 독립적으로 매칭하는 대신, 하나의 소스 이미지에서 여러 타겟 이미지로의 대응점을 단일 순전파 과정에서 직접 추정함으로써 기하학적으로 일관된 다중 뷰 트랙을 자연스럽게 생성한다. 또한, 트랙 가이드 어텐션과 픽셀 정렬 어텐션 메커니즘을 통해 다중 이미지 간 상호 정보 교환을 가능하게 하여 기존 쌍별 매칭보다 더 정확한 매칭 성능을 달성하였으며, 이러한 트랙을 모델의 직접적인 출력으로 생성하여 전통적인 SfM 파이프라인과 자연스럽게 통합되도록 하였다.
본 연구의 두 프레임워크는 고밀도 매칭의 SfM 통합이라는 근본적 과제에 대해 상호 보완적인 해결책을 제시한다. Dense-SfM은 쌍별 매칭에 대한 효과적인 후처리를 통해 최고 수준의 재구성 품질을 달성하며, MV-RoMa는 다중 뷰 추론을 위한 매칭 패러다임 재설계를 통해 후처리 자체의 필요성을 제거한다. 깊이 센서나 사전 구축된 3D 모델 없이 RGB 이미지만을 사용함에도 불구하고, 두 방법 모두 다양한 벤치마크에서 최고 수준의 성능을 보이며, 특히 기존 방법들이 실패하는 텍스처가 부족한 영역에서도 현저히 높은 3차원 점들의 밀도와 기하학적 정확도를 달성하였다. 이러한 발전은 실제 환경에서 3차원 재구성 시스템의 안정적인 배치를 가능하게 하며, 깊이 완성화, 조밀한 3D 점군(point cloud) 지도 제작 등 다양한 실제 응용 분야에서 실용적 가치를 제공할 것으로 기대된다.

목차 (Table of Contents)

• Abstract i
• Chapter 1 Introduction 1
• Chapter 2 Background 9
• 2.1 Image Matching 9
• 2.1.1 Sparse Matching 10
• 2.1.2 Dense Matching 10
• 2.1.3 Multi-view Matching 11
• 2.2 Structure-from-Motion (SfM) 12
• 2.2.1 Track Building 13
• 2.2.2 Incremental Structure-from-Motion 13
• 2.2.3 Global Structure-from-Motion 14
• 2.2.4 Dense Matching Integration Challenge 15
• 2.3 Learning-based Multi-view Reconstruction 16
• 2.3.1 Multi-view Pose Estimation 17
• 2.3.2 Feed-forward 3D reconstruction 18
• Chapter 3 Dense-SfM: Structure from Motion with Dense Consistent Matching 20
• 3.1 Motivation 20
• 3.2 Related Work 23
• 3.3 Method 26
• 3.3.1 Initial SfM via Dense Matching 27
• 3.3.2 Track Extension via Gaussian Splatting 29
• 3.3.3 Iterative SfM Refinement 31
• 3.4 Experiments 36
• 3.4.1 Datasets 36
• 3.4.2 Implementation Details 36
• 3.4.3 3D Triangulation 38
• 3.4.4 Multi-View Camera Pose Estimation 40
• 3.4.5 Ablation Studies 43
• 3.4.6 Track length analysis 45
• 3.4.7 Runtime Comparison 45
• 3.5 Limitations and Future works 46
• 3.6 Conclusion 46
• Chapter 4 MV-RoMa: From Pairwise Matching into Multi-ViewTrack Reconstruction 47
• 4.1 Introduction47
• 4.2 Related Work 50
• 4.2.1 Sparse and Dense Pairwise Matching 50
• 4.2.2 Multi-View Consistency 51
• 4.3 Method 52
• 4.3.1 Overview 52
• 4.3.2 Preliminary: RoMa53
• 4.3.3 Track-Guided Multi-View Encoder 54
• 4.3.4 Multi-view Matching Refiner58
• 4.3.5 Post-Processing for Structure-from-Motion 60
• 4.3.6 Grouping Images for SfM 61
• 4.4 Experiments 66
• 4.4.1 Implementation detail 66
• 4.4.2 Homography Estimation 67
• 4.4.3 3D Triangulation 69
• 4.4.4 Multi-View Camera Pose Estimation 70
• 4.4.5 Ablation Study 71
• 4.4.6 Analysis of Track Token 73
• 4.4.7 Runtime Comparison 76
• 4.5 Conclusion 76
• Chapter 5 Analysis and Discussion 77
• 5.1 Motivation 77
• 5.2 Comparison with Feed-Forward Approaches 79
• 5.2.1 Qualitative Results 79
• 5.2.2 Quantitative Evaluation 81
• 5.3 Advantages of Dense Matching 82
• 5.4 Discussion 84
• Chapter 6 Conclusion 86
• 6.1 Summary 86
• 6.2 Limitations 87
• 6.3 Future Work 88
• 감사의 말 109
• 요약 111