카메라-포인트 클라우드 융합 기반 도로 객체 검출 및 최소 깊이 추정 = Road Object Detection and Minimum Depth Estimation via Camera-Point Cloud Fusion

국문 초록 (Abstract)

자율주행 및 지능형 로봇 시스템에서 주변 환경을 정확하게 인지하고, 객체의 위치와 깊이를 정밀하게 추정하는 기술은 안전성과 직결되는 핵심 요소이다. 특 히 카메라는 풍부한 의미론적 정보를 내포하는 높은 해상도의 이미지를 제공하 는 반면 절대적인 깊이 정보는 제공하지 않으며, 라이다는 정확한 깊이 정보를 제공하지만 공간 해상도가 낮고 희소한 특성을 가진다. 이러한 센서들의 장점을 살리고 단점을 극복하기 위해 본 연구는 이미지 특징과 포인트 클라우드 특징을 효과적으로 융합하여 객체 검출과 깊이 예측을 동시에 수행하는 새로운 통합 네 트워크를 제안한다. 제안된 네트워크는 이미지와 라이다의 포인트 클라우드 각각으로부터 추출된 특징을 교차 어텐션(cross-attention) 기반 구조로 결합하고, 융합된 특징을 활 용하여 초기 객체 후보를 생성하는 입력 의존적 쿼리 초기화 모듈 (input-dependent query initialization)을 도입하였다. 이를 통해 객체가 존재할 가능성이 높은 위치에서 후보를 우선적으로 선택함으로써 불필요한 후보를 억제 하고 검출 효율과 정확도를 동시에 향상시켰다. 또한, 깊이 예측 성능을 정밀하 게 평가하기 위해 헝가리안 매칭(Hungarian matching) 기반의 매칭 방법을 적 용하여 예측 결과와 정답 간의 일대일 대응을 보장하고, RMSE(Root Mean Square Error)를 사용하여 깊이 오차를 정량적으로 분석하였다. KITTI 데이터셋을 이용한 실험 결과, 제안된 네트워크는 차량, 보행자, 사이 클리스트 전 클래스에서 기존 방식보다 우수한 검출 성능과 낮은 깊이 오차를 보였다. 특히 융합 특징 기반 후보 생성 방식은 랜덤 후보 기반 접근 대비 객체 검출, 깊이 추정 모두에서 개선된 성능을 나타냈으며, 히트맵 생성 방식, 특징 융 합 전략, 멀티 어텐션 구조에서의 쿼리–키–밸류 구성, 제안된 네트워크의 서브 헤드 개수 변화 등 다양한 요소 실험을 통해 융합 기반 접근의 효과를 검증하였 다. 본 연구는 카메라–라이다 융합 기반의 인지 방식이 객체 검출과 깊이 추정의 동시 향상에 효과적임을 보였으며, 향후 실제 도로 환경 적용과 경량화를 통해 자율주행 인지 모델의 실용성을 높일 수 있는 기반을 제시한다.

다국어 초록 (Multilingual Abstract)

Accurately perceiving the surrounding environment and precisely estimating object locations and depths are fundamental requirements for ensuring safety in autonomous driving and intelligent robotic systems. Cameras provide high-resolution visual information rich in semantic cues but lack absolute depth measurements, whereas LiDAR sensors offer accurate depth information but suffer from low spatial resolution and sparsity. To leverage the complementary strengths of these sensors while overcoming their limitations, this study proposes a unified network that jointly performs object detection and depth estimation by effectively fusing image features and point cloud features. The proposed network integrates features extracted independently from images and LiDAR point clouds using a cross-attention–based fusion architecture. In addition, an input-dependent query initialization module is introduced to generate initial object candidates from the fused features. This module prioritizes regions with high object likelihood, thereby suppressing redundant candidates and improving detection efficiency and accuracy. To evaluate depth estimation performance more rigorously, we adopt a Hungarian matching–based one-to-one assignment strategy and analyze depth errors using the Root Mean Square Error (RMSE) metric. Experiments conducted on the KITTI dataset demonstrate that the proposed method achieves superior detection accuracy and lower depth errors across all object classes—Car, Pedestrian, and Cyclist—compared to existing approaches. In particular, the fusion-based candidate generation strategy outperforms random-candidate methods in both detection and depth estimation. Additional ablation studies on heatmap generation, fusion strategies, query–key–value configurations in the multi-attention structure, and the number of sub-heads further validate the effectiveness of the proposed fusion-centric design. Overall, this study shows that camera–LiDAR fusion significantly enhances both object detection and depth estimation. The proposed framework provides a solid foundation for future work on real-world deployment and model lightweighting, contributing to more practical perception systems for autonomous driving.

목차 (Table of Contents)

• 1. 서 론 1
• 2. 관련 연구 5
• 가. 2D 객체 검출 및 깊이 추정 5
• 나. 카메라-라이다 센서 융합 6
• 3. 제안 방법 12
• 가. 특징 추출기 12
• 1) 이미지 백본 12
• 2) BEV 백본 14
• 나. 후보 생성기 18
• 다. 융합 기반 다중 작업 헤드 21
• 1) 객체 후보별 이미지 특징 추출 22
• 2) 객체 후보별 BEV 특징 추출 25
• 3) 이미지-BEV 특징 융합 모듈 27
• 4) 클래스 예측 및 경계 상자, 깊이 회귀 27
• 라. 손실 함수 29
• 4. 실험 결과 31
• 가. 데이터셋 31
• 나. 학습 전략 32
• 다. 성능 평가 방법 33
• 라. 성능 평가 37
• 1) 객체 검출 및 깊이 추정 정량적 결과 37
• 2) 객체 검출 및 깊이 추정 정성적 결과 38
• 마. 객체 후보군 설정 분석 42
• 바. 이미지 특징과 BEV 특징의 융합 방법 분석 44
• 사. 서브 헤드 개수에 따른 성능 비교 44
• 아. 멀티 어텐션 구조에 따른 성능 비교 45
• 자. 히트맵 생성 방식에 따른 성능 비교 46
• 5. 결론 49
• 참고 문헌 51
• Abstract(영문초록) 56