Cross-Modal Visual Localization in LiDAR Maps = 교차 모달 융합을 이용한 LiDAR 지도 기반 시각 위치추정

다국어 초록 (Multilingual Abstract)

This dissertation proposes a novel visual localization framework that enables accurate and reliable local and global pose estimation using only camera-based visual information in a pre-built LiDAR map. Although the PLM provides absolute and dense three-dimensional structural information, aligning camera observations with LiDAR measurements remains inherently challenging due to the fundamental differences between the two sensing modalities. To address this issue, the proposed framework is composed of two complementary modules designed to operate under different levels of drift.

The first module is a plane-based stereo localization system intended for medium-scale drift scenarios on the order of a few meters. This module stabilizes camera pose estimation by leveraging the structural consistency between the visual map and the PLM through the combined use of global planes and surfels. It further increases computational efficiency by triggering the iterative closest point–based registration using drift estimation rather than executing registration at every keyframe. Through PLM-based pose correction, this module effectively eliminates accumulated visual localization drift while maintaining high accuracy and real-time performance.

The second module is a depth-based cross-modal place recognition framework for global initialization, designed for situations in which no prior pose information is available or severe drift makes it impossible to determine the camera's location in the PLM. Camera images and LiDAR scans are transformed into a unified depth representation, allowing the system to utilize Vision Foundation Models with a single shared backbone. Furthermore, a geometry-aware mining strategy constructs reliable training pairs by computing pixel-level, geometry-based overlap scores, substantially improving robustness and performance compared to prior methods.

The proposed framework has been validated extensively across various indoor and outdoor public datasets, as well as simulation environments. Experimental results demonstrate superior accuracy and robustness compared to existing approaches, confirming the effectiveness of the two-module PLM-based visual localization system.

국문 초록 (Abstract)

본 논문은 사전에 구축된 라이다 지도를 활용하여, 카메라만을 사용한 시각 정보 기반으로 정확하고 안정적인 국소 위치 추정과 전역 위치 추정을 수행할 수 있는 새로운 시각 위치추정 체계를 제안한다. 사전 구축 라이다 지도는 절대적이고 고밀도의 삼차원 구조 정보를 제공하지만, 카메라와 라이다는 관측 방식과 센서 특성이 서로 다르기 때문에 두 종류의 데이터를 정합하는 것은 본질적으로 어려운 문제이다. 이러한 문제를 해결하기 위해, 본 연구는 서로 다른 규모의 드리프트 상황을 처리할 수 있도록 두 개의 상호보완적 모듈을 구성하였다.

첫 번째 모듈은 수 미터 정도의 중간 규모 드리프트가 발생한 상황에서 카메라 자세를 사전 구축 라이다 지도를 활용해 안정적으로 보정하기 위한 강결합 평면 기반 스테레오 시각 위치추정 시스템이다. 이 모듈은 전역 평면과 세부 표면 요소를 함께 활용하여 시각으로 구성된 지도와 라이다 지도가 구조적으로 일치하도록 유지하며, 드리프트 크기를 미리 추정하여 최근접점 반복 정합 기반의 정합 과정이 불필요하게 반복되지 않도록 조절함으로써 전체 시스템의 계산 효율을 높인다. 이를 통해 시각 기반 위치추정 과정에서 누적되는 오차를 효과적으로 제거하고, 높은 정확도와 실시간성을 확보한다.

두 번째 모듈은 초기 위치 정보가 없거나 드리프트가 크게 발생하여 사전 구축 라이다 지도 내부에서 현재 위치를 파악할 수 없는 상황에서, 카메라 자세를 라이다 지도 좌표계와 정렬하기 위한 깊이 기반 교차 모달 장소 인식 기반 전역 초기화 체계이다. 카메라 영상과 라이다 측정값을 공통된 깊이 표현으로 변환하여 하나의 통합된 신경망 구조로 처리할 수 있도록 설계하였으며, 픽셀 단위의 기하적 중첩도를 활용하는 기하 기반 학습 자료 선택 방식을 적용하여 신뢰도 높은 학습 데이터를 구성함으로써 기존 방식보다 강건성과 성능을 크게 향상시켰다.

제안된 전체 체계는 다양한 실내외 공개 데이터셋과 시뮬레이션 환경에서 검증되었으며, 기존의 여러 방법론과 비교하여 다양한 측면에서 높은 정확도와 강건성을 입증하였다.

목차 (Table of Contents)

• Abstract vi
• Table of Contents viii
• List of Tables x
• List of Figures xiii
• 1. Introduction 1
• 1.1 Introduction 1
• 1.2 Literature Survey 5
• 1.3 Contributions 9
• 1.4 Outline 11
• 2. Depth-CMPR-based global Initialization in PLM 12
• 2.1 Overview 14
• 2.2 Depth representation 14
• 2.3 Geometry-aware overlap mining 17
• 2.4 Sequential pose refinement for global initialization 22
• 3. Plane-based pose refinement in PLM 34
• 3.1 System overview 36
• 3.2 PLM preprocess 37
• 3.3 Joint optimization with PLM 38
• 3.4 Drift estimation 44
• 3.5 Pose correction with point cloud registration 47
• 4. Experiment 54
• 4.1 Datasets 54
• 4.2 Results of Depth-based CMPR 57
• 4.3 Results of CMPR-based global initialization 68
• 4.4 Results of Plane-based Stereo Visual Localization with PLM 74
• 5. Conclusion 89
• References 91
• Abstract (in Korean) 100