An Improved Method for Detection and Tracking of Maritime Obstacles Based on Multiple Sensor Fusion = 다중 센서 융합 기반 해상 장애물의 개선된 탐지 및 추적 방법

다국어 초록 (Multilingual Abstract)

For the safe and reliable navigation of USVs (Unmanned Surface Vehicles), it is essential that they autonomously recognize maritime obstacles and accurately detect their surroundings. To achieve this, USVs are typically equipped with multiple sensors, such as RADAR (RAdio Detection And Ranging) and a camera, each possessing distinct advantages and limitations. RADAR provides long-range detection and relative speed measurement, but its low resolution limits object classification and lateral distance accuracy. In contrast, the camera provides high-resolution visual information for detailed recognition, but it is sensitive to lighting conditions. Because of differences in sensing range, frequency, and error characteristics, achieving consistent, accurate obstacle tracking with a single sensor is challenging. Therefore, it is necessary to integrate multiple sensors, combining RADAR's robustness across various weather conditions with a camera's high-resolution capabilities.
To address these challenges, this study proposes an improved method for detecting and tracking maritime obstacles based on multiple sensor fusion. The proposed method improves overall reliability in two steps. First, the tracking performance of each sensor—RADAR and the camera—is enhanced to ensure that both sensors can independently deliver accurate, stable tracking results. Then, the two sensors are combined through sensor fusion to complement each other, enabling the system to achieve higher accuracy and stability in tracking maritime obstacles. The method consists of three main stages: (1) detection and localization, (2) tracking, and (3) sensor fusion.
In the detection and localization stage, the camera uses the YOLO (You Only Look Once) object detection model and a depth-based localization method to mitigate the instability of the conventional horizon-based localization method. For RADAR, obstacle detection and localization are performed using the CA-CFAR (Cell-Averaging Constant False Alarm Rate) algorithm. This representative RADAR signal-processing method ensures robust detection even in cluttered maritime environments. In the tracking stage, a hybrid tracking method is developed by combining the EKF (Extended Kalman Filter)-based models with a learning-based model. This hybrid method leverages the interpretability and stability of EKF-based tracking and the adaptability of learning-based tracking, providing robust performance across varying maritime environments. Finally, in the sensor fusion stage, the tracking results from RADAR and the camera are integrated using a sensor-level fusion method based on the estimated error covariance, yielding accurate and stable tracking performance.
This study validated the proposed method through field tests using RADAR and the camera. The results demonstrate that the proposed method significantly improves detection accuracy and tracking stability compared to single-sensor methods. These results confirm that the proposed method effectively enhances situational awareness and navigation safety for USVs operating in complex maritime environments.

국문 초록 (Abstract)

USV (Unmanned Surface Vehicle)의 안전하고 신뢰성 있는 항해를 위해서는 해상 장애물을 자율적으로 인식하고 주변 환경을 정확히 탐지하는 능력이 필수적이다. 이를 위해 USV에는 일반적으로 RADAR (RAdio Detection And Ranging)와 카메라와 같은 다중 센서가 탑재되며, 각 센서는 상이한 장점과 한계를 가진다. RADAR는 장거리 탐지, 상대 속도 측정, 그리고 다양한 조도 및 기상 조건에서의 안정적인 성능을 제공한다. 그러나 낮은 해상도로 인해 객체 분류와 횡방향 거리 추정의 정확도가 제한된다. 반면, 카메라는 고해상도 시각 정보를 제공하여 정밀한 인식이 가능하지만 조명 변화에 민감하며, 대량의 정보를 생성하여 높은 연산 처리량을 요구한다. 센서별 탐지 범위, 갱신 주기, 오차 특성이 상이하기 때문에 단일 센서만으로 일관되고 정확한 장애물 추적을 달성하는 것은 어렵다. 따라서 다양한 기상 조건에서의 RADAR의 강건성과 카메라의 고해상도 인식 능력을 결합하는 다중 센서 통합이 요구된다.
이러한 문제를 해결하기 위해 본 연구에서는 다중 센서 융합 기반의 해상 장애물의 개선된 탐지 및 추적 방법을 제안한다. 제안된 방법은 두 단계로 전체 신뢰성을 향상시킨다. 먼저 RADAR와 카메라 각각의 추적 성능을 개선하여, 두 센서가 독립적으로도 정확하고 안정적인 추적 결과를 제공할 수 있도록 한다. 이후 센서 융합을 통해 두 센서를 상호 보완적으로 결합함으로써, 해상 장애물 추적의 정확도와 안정성을 동시에 향상시킨다. 제안된 방법은 (1) 탐지 및 위치 예측, (2) 추적, (3) 센서 융합의 세 단계로 구성된다. 
탐지 및 위치 예측 단계에서 카메라는 대표적인 딥 러닝 기반 객체 탐지 모델인 YOLO (You Only Look Once)를 활용하여 장애물을 탐지하며, 기존 수평선 기반 위치 예측 방법의 불안정성을 완화하기 위해 심도 기반 위치 예측 방법을 제안한다. RADAR의 경우, 혼잡한 실해역 환경에서도 강건한 탐지를 보장하는 대표적 신호처리 방법인 CA-CFAR (Cell-Averaging Constant False Alarm Rate) 알고리즘을 활용하여 장애물 탐지 및 위치 예측을 수행한다. 추적 단계에서는 EKF (Extended Kalman Filter) 기반 추적 방법과 학습 기반 추적 방법을 결합한 개선된 혼합 추적 방법을 제안한다. 제안된 혼합 추적 방법은 EKF 기반 추적의 해석 가능성과 안정성, 그리고 학습 기반 추적의 적응성을 동시에 활용함으로써, 다양한 실해역 환경 변화에도 강건한 성능을 제공한다. 마지막으로 센서 융합 단계에서는 추정된 오차 공분산에 기반한 CI (Covariance Intersection) 기반 sensor-level fusion 방법을 적용하여 RADAR와 카메라의 추적 결과를 통합함으로써, 정확하고 안정적인 추적 성능을 확보한다.
본 연구에서는 RADAR 및 카메라의 센서 관측값을 활용한 실해역 시험을 통해 제안된 방법을 검증하였다. 실험 결과, 제안된 방법은 단일 센서 기반 방법 대비 탐지 정확도와 추적 안정성을 유의미하게 향상시키는 것으로 나타났다. 이러한 결과는 제안된 방법이 복잡한 실해역 환경에서 운용되는 USV의 상황 인식과 항해 안전성을 효과적으로 강화할 수 있음을 입증한다.

목차 (Table of Contents)

• 1. Introduction 1
• 1.1. Research Background 1
• 1.2. Related Works 5
• 1.2.1. Related works for the depth-based localization method 5
• 1.2.2. Related works for the improved hybrid tracking method 9
• 1.2.3. Related works for the sensor fusion method 14
• 2. A Detection and Localization Method 18
• 2.1. Types of Sensors and Sensor Measurement 18
• 2.2. A Camera-based Detection Method 19
• 2.3. A Camera-based Localization Method 22
• 2.3.1. A horizon-based localization method 22
• 2.3.2. A depth-based localization method 27
• 2.4. A RADAR-based Detection and Localization Method 30
• 3. A Hybrid Tracking Method 34
• 3.1. Conventional Hybrid Tracking Method 34
• 3.1.1. Motivation for the hybrid tracking method 34
• 3.1.2. Overview of the conventional hybrid tracking method 38
• 3.1.3. Limitations of the hybrid tracking method using the DNN 46
• 3.2. Improved Hybrid Tracking Method using the Transformer 48
• 3.2.1. Overall pipeline of the improved hybrid tracking method 48
• 3.2.2. Problem formulation 50
• 3.2.3. Synthetic training dataset generation 56
• 3.2.4. Transformer-based tracking model architecture 65
• 3.2.5. Two-stage training procedure and loss functions 75
• 4. A Sensor Fusion Method 79
• 5. Applications 85
• 5.1. A Camera-based Localization Method 85
• 5.2. A Hybrid Tracking Method 90
• 5.3. A Sensor Fusion Method 98
• 6. Conclusions and Future Works 103
• References 107
• 국문 초록 112