기하학적 일관성을 이용한 슈퍼픽셀 기반 라이다-카메라 Calibration = Geometry-aware Superpixel-based LiDAR-Camera Calibration

국문 초록 (Abstract)

자율주행과 같이 실제 시나리오에서 정확하고 강건한 인식을 달성하기 위해 수많은 접근 방식이 제안되었으며, 특히 라이다-카메라 융합 기술을 이용한 연구가 활발하게 이루어지고 있다. 융합 기술을 활용하기 위해서는 센서 간의 상대 자세를 추정하는 Extrinsic calibration이 선행되어야 하며, 상대 자세의 정확도는 시스템의 성능에 영향을 주므로 정확한 자세를 추정하는 것은 중요하다. 게다가, 과거에는 특정 목표물을 필요한 번거로움이 있어 최근에는 건물과 같은 주위 구조물을 이용한 방식으로 자세를 추정하는 방향으로 발전되었다. 그러나, 위의 접근 방식은 종종 두 가지 Modality에 걸쳐 공통된 기하학적 특징을 포함하는 환경이 필요하며 이는 복잡한 환경에서 때때로 도전적이며 딥러닝 기반 방법은 높은 정확도를 보여주었지만, 일반적으로 정답 데이터에 의존하며 도메인 차이와 관련된 문제를 겪는다. 위의 언급된 한계를 해결하기 위해, 본 연구는 이미지의 사전 정보를 이용하여 Geometry-aware 슈퍼픽셀을 추출하고, 이를 이용한 목표물을 사용하지 않는 방식의 라이다-카메라 Calibration 프레임워크를 제안한다. 본 연구에서는 Monodepth와 이미지로부터 예측한 2D 법선 벡터를 활용하여 기존 슈퍼픽셀을 기하 정보를 반영한 Geometry-aware 형태로 재구성함으로써 신뢰도 높은 슈퍼픽셀을 형성하는 SPM 모듈을 제안한다. 재정렬된 2D의 정보와 라이다의 3D 정보를 법선 벡터의 일관성, 법선 벡터 일관성의 분산 및 깊이 불연속성으로 구성된 손실함수를 제안하였고, 기울기-비의존 최적화 기법으로 Extrinsic parameter를 추정한다. 제안된 프레임워크는 두 가지 다른 유형의 데이터셋에 대한 실험 결과에서 강건함과 정확성을 입증하였고, 기존의 다른 모델들과 비교하여도 우수한 성능을 보였다.

다국어 초록 (Multilingual Abstract)

In real-world scenarios such as autonomous driving, numerous approaches have been proposed to achieve accurate and robust perception, with LiDAR Camera – fusion receiving significant attention. To effectively exploit multi-modal sensor information, extrinsic calibration that estimates the relative pose between sensors must be performed in advance, and the accuracy of this estimation directly impacts overall system performance. While earlier studies often relied on dedicated calibration targets, recent approaches have shifted toward targetless methods that leverage surrounding structures such as buildings. However, these approaches typically require environments containing common geometric features observable across both modalities, which can be challenging in complex scenes. Although deep learning based methods have demonstrated high accuracy, they generally – depend on ground-truth supervision and suffer from domain shift issues. To address these limitations, we propose a targetless LiDAR Camera calibration – framework that leverages priors to construct geometry-aware superpixels.
Specifically, we introduce an SPM module that forms reliable geometry-aware superpixels by reorganizing conventional superpixels using monocular depth and 2D surface normal. Based on the restructured 2D and the LiDAR data, we formulate an objective function composed of normal consistency, the variance of normal consistency, and depth discontinuity. The extrinsic parameters are then estimated through a gradient-free optimization. Experimental results demonstrate the robustness and accuracy of the proposed framework, achieving superior performance compared to existing methods.

목차 (Table of Contents)

• Ⅰ. 서론 1
• Ⅱ. 관련 연구 3
• 1. 목표물 기반 Calibration 3
• 2. 목표물이 필요 없는 Calibration 4
• Ⅲ. 제안 방안 6
• 1. 사전 지식 6
• 2. 개요 7
• 3. 표기법 7
• 4. SPM 10
• 가. 기하학적 정보를 담은 슈퍼픽셀 추출 10
• 나. 법선 벡터 방향에 따른 슈퍼픽셀 그룹화 12
• 5. 손실함수 및 최적화 14
• 가. 법선 벡터 일관성 14
• 나. 법선 벡터 일관성의 분산 15
• 다. 깊이 불연속 15
• 라. 최적화 16
• Ⅳ. 실험 및 평가 17
• 1. 정성적 결과 18
• 2. 정량적 결과 23
• 3. 실세계 환경에서의 적용 결과 25
• 4. 추가 실험 26
• 가. w/o SPM 26
• 나. w/o 26
• 다. w/o 27
• 라. Segmentation 마스크 vs 슈퍼픽셀 27
• 마. 추가 비교 실험 29
• 바. 슈퍼픽셀 그룹 의존성 31
• Ⅴ. 결론 및 토의 32
• 참고문헌 33