강건 최적화를 이용한 레이더 : 카메라 융합 기반 동체 속도 추정 기법 = Radar-Camera Fusion based Ego : Velocity Estimation using Robust Optimization

다국어 초록 (Multilingual Abstract)

Recently, ego-motion estimation using auxiliary sensors has been actively studied in autonomous vehicles, mobile robots, and integrated navigation systems to provide reliable motion states in environments where Global Navigation Satellite System （GNSS） signals are degraded or unavailable. Among these motion states, ego-velocity is directly used in state estimation, dead reckoning, path planning, and control. Biases or temporal discontinuities in the estimated velocity can accumulate as position errors through time integration and degrade navigation stability.
Radar has attracted attention as a navigation sensor because it is robust to adverse environmental conditions and directly provides Doppler velocity measurements. However, radar-based ego-velocity estimation in urban environments remains challenging due to dynamic objects, multipath reflections, ghost targets, clutter, and sparse radar point clouds. Conventional radar-based methods generally estimate ego-velocity after selecting static points from radar observations. When static point selection becomes unstable, the estimated velocity can be biased, divergent, or temporally discontinuous.
To address these limitations, this thesis proposes a robust ego-velocity estimation method based on point-wise reliability weighting and radar-camera fusion. The radar-based proposed method assigns continuous reliability weights to individual radar points using radar cross-section information and velocity-space clustering consistency. These weights are reflected in a Huber loss-based Iteratively Reweighted Least Squares （IRLS） optimization framework to reduce the influence of dynamic objects and outlying observations without relying on hard static-dynamic point selection.
The proposed method is further extended by incorporating camera image information. Radar points are projected onto the camera image plane, and object detection results with projection uncertainty are used to evaluate the spatial association between radar points and detected objects. An object-class-based prior reliability is then combined with the physical consistency of Doppler residuals to compute camera-based point-wise reliability weights. The robust velocity measurement generated at each frame is finally combined with a Kalman filter-based state prediction and measurement update structure to improve temporal continuity.
The proposed method was evaluated on the View of Delft and MSC-RAD4R datasets and compared with RANSAC+LSQ, EFEAR-4D, REVE, and RAVE. On the View of Delft dataset, the radar-based proposed method achieved a Speed RMSE of 0.1236 m/s and an Absolute Trajectory Error （ATE） of 0.511 m. The radar-camera fusion method further improved the result to a Speed RMSE of 0.1234 m/s and an ATE of 0.474 m. On the MSC-RAD4R dataset, the radar-based proposed method achieved a Speed RMSE of 0.4922 m/s and an ATE of 8.163 m, while the radar-camera fusion method reduced them to 0.2413 m/s and 0.885 m, respectively.
These results show that the proposed method improves both single-frame ego-velocity estimation and dead reckoning stability. In particular, the radar-camera fusion structure effectively reduces performance degradation in dynamic urban scenes where radar-only information is insufficient. Therefore, this thesis demonstrates that radar Doppler-based ego-velocity estimation combined with point-wise reliability weighting, robust optimization, and camera-based semantic information can serve as a reliable navigation component in GNSS-degraded environments.

국문 초록 (Abstract)

최근 자율주행 차량, 무인 지상 차량, 이동 로봇과 같은 자율 시스템에서는 GNSS가 취약한 환경에서도 안정적인 항법 성능을 확보하기 위해 다양한 보조 센서 기반 동체 운동 추정 기술이 연구되고 있다. 특히 동체 속도 추정은 상태 추정, 추측 항법, 경로 계획 및 제어 성능에 직접적인 영향을 미치며, 추정 과정의 편향이나 불연속은 위치 오차 누적과 항법 성능 저하로 이어질 수 있다. 레이더는 환경 변화에 강인하고 도플러 정보를 직접 제공할 수 있어 유용한 항법 센서이지만, 실제 도심 환경에서는 동적 객체, 다중 경로 반사, 고스트 타깃, 클러터, 점군의 희소성으로 인해 안정적인 속도 추정이 어렵다.
기존 레이더 기반 동체 속도 추정 기법은 주로 정적 객체에 해당하는 관측을 선별한 뒤, 해당 관측만을 이용하여 속도를 회귀 추정하는 방식으로 발전해왔다. 그러나 이러한 방식은 정적 포인트 선별에 크게 의존하므로, 동적 객체 비율이 높거나 관측 품질이 저하되는 환경에서는 정적 객체 대상 관측 포인트의 오검출로 인한 속도 추정치의 편향과 시간적 불연속이 발생할 수 있다. 또한 특정 군집 구조나 기하학적 특성을 기반으로 포인트를 선별하는 경우, 환경 변화에 따라 충분한 정적 정보를 확보하기 어렵다는 한계가 있다.
이러한 한계를 보완하기 위해 본 논문에서는 강건 최적화를 이용한 레이더 기반 동체 속도 추정 기법을 제안하고, 이를 영상 기반 포인트 신뢰도 가중치와 결합하여 확장한다. 제안 기법은 정적 객체와 동적 객체를 분리하여 일부 관측만을 사용하는 방식이 아니라, 레이더 포인트별 관측 신뢰도를 가중치로 반영하여 속도 측정치를 생성한다. 이를 위해 레이더 포인트의 도플러 측정치와 시선 방향 정보를 이용하여 속도 추정 문제를 구성하고, 반사 강도와 속도 공간 군집 일관성을 기반으로 관측별 가중치를 설계한다. 설계된 가중치는 Huber 손실 함수 기반 IRLS 최적화에 반영되며, 이를 통해 동적 객체와 이상 관측이 속도 추정에 미치는 영향을 완화한다. 이후 생성된 속도 측정치는 칼만 필터 기반의 상태 예측 및 측정치 갱신 구조와 결합되어 프레임 간 추정 결과의 시간적 연속성을 확보한다.
더 나아가 본 논문에서는 레이더 기반 제안 기법을 카메라 영상 정보와 결합한 확장 구조를 제안한다. 이를 위해 레이더 포인트를 카메라 영상 평면으로 투영하고, 영상 객체 검출 결과와 레이더 포인트의 투영 불확실성을 이용하여 레이더 포인트와 검출 객체 사이의 매칭 가능성을 계산하였다. 이후 검출 객체의 클래스 정보를 바탕으로 객체 클래스 기반 사전 신뢰도를 구성하고, 이를 도플러 잔차 기반 물리적 일관성과 결합하여 포인트별 신뢰도 가중치를 산출하였다. 산출된 카메라 기반 포인트 신뢰도 가중치는 레이더 기반 포인트 신뢰도 가중치와 함께 강건 최적화 과정에 반영되며, 이를 통해 동적 객체가 빈번하게 관측되는 도심 환경에서도 보다 안정적인 동체 속도 추정이 가능하도록 하였다.
제안하는 기법의 성능 검증을 위해 본 논문에서는 View of Delft 데이터 셋과 MSC-RAD4R 데이터 셋을 대상으로 기존 기법과의 성능 비교 평가를 수행하였다. 먼저 레이더 기반 제안 기법은 VoD 데이터 셋에서 Speed RMSE 0.1236 m/s와 ATE 0.511 m를 기록하였으며, MSC-RAD4R 데이터 셋에서는 Speed RMSE 0.4922 m/s와 ATE 8.163 m를 기록하였다. 이는 카메라 정보를 사용하지 않는 조건에서도 포인트별 신뢰도 가중치와 강건 최적화 구조가 기존 레이더 기반 기법 대비 안정적인 속도 추정 및 추측 항법 성능을 제공함을 보여준다.
이후 카메라 기반 포인트별 신뢰도 가중치를 결합한 융합 기반 제안 기법은 VoD 데이터 셋에서 Speed RMSE 0.1234 m/s와 ATE 0.474 m를 기록하여 레이더 기반 제안 기법보다 ATE를 약 7.2% 추가로 감소시켰다. MSC-RAD4R 데이터 셋에서는 Speed RMSE 0.2413 m/s와 ATE 0.885 m를 기록하여 레이더 기반 제안 기법 대비 Speed RMSE는 약 51.0%, ATE는 약 89.2% 감소하였다. 이를 통해 카메라 기반 포인트 신뢰도 가중치 확장이 동적 객체와 장면 변화가 큰 환경에서 레이더 단독 구조의 한계를 보완하고, 시간 누적 항법 안정성을 향상시키는 데 효과적임을 확인하였다.

목차 (Table of Contents)

• 1. 서론 1
• 1.1 연구의 배경 및 목적 1
• 1.2 논문의 구성 6
• 2. 이론 배경 7
• 2.1 표기법 및 좌표계 7
• 2.2 기준 좌표계 시스템 8
• 2.3 좌표계 회전 표현법 15
• 2.4 추측 항법 20
• 3. 강건 최적화를 이용한 레이더 기반 동체 속도 추정 25
• 3.1 문제 정식화 및 관측 모델 27
• 3.2 레이더 기반 포인트 신뢰도 가중치 설계 31
• 3.3 강건 최적화 기반 속도 측정치 생성 39
• 3.4 필터 기반 상태 예측 및 측정치 갱신 42
• 3.5 레이더 기반 동체 속도 추정 45
• 4. 영상 기반 포인트 신뢰도 가중치 확장 47
• 4.1 레이더-카메라 융합 구조 50
• 4.2 레이더 포인트와 검출 객체 매칭 52
• 4.3 정적 객체 판단 및 포인트 신뢰도 가중치 확장 55
• 5. 실험 및 결과 분석 61
• 5.1 실험 환경 및 평가 방법 63
• 5.2 실험 결과 및 분석 70
• 6. 결론 및 향후 연구 109
• 6.1 연구 결론 109
• 6.2 향후 연구 계획 112
• 참고 문헌 114