무인 수상정을 위한 실시간 비전 인식 모델 = Real-Time Visual Recognition Model for Unmanned Surface Vehicles

다국어 초록 (Multilingual Abstract)

Unmanned Surface Vehicles (USVs) require robust real-time visual perception to safely operate in dynamic maritime environments characterized by waves, reflections, illumination variations, and highly irregular object distributions. However, conventional computer vision models—primarily optimized for terrestrial scenes or high-performance GPU servers—struggle to meet the strict latency, power, and thermal constraints of onboard Edge-AI platforms. This study presents a unified real-time maritime vision perception pipeline that integrates object detection and sea-region segmentation models optimized specifically for USV onboard operation. A large-scale maritime vision dataset consisting of 226,000 real-sea images was constructed using USVs, drones, and fixed cameras under diverse weather, illumination, and sea-state conditions. Based on this dataset, a maritime-adapted YOLOv7 detector was developed through anchor re-optimization, SIoU-based loss enhancement, class rebalancing, and maritime-specific augmentation techniques. For sea-region perception, an enhanced U-Net model incorporating AIN (Adaptive Illumination Normalization), RAA (Reflection-Aware Attention), and WSD (Wave-Sensitive Decoder) was designed to improve robustness against reflections and wave-induced distortions. To enable real-time inference on Jetson AGX Orin, Post-Training Quantization (PTQ) and a carefully curated 1,000-image calibration dataset were applied, achieving significant reductions in model size and inference latency. Both models were integrated into an RTSP-based unified perception pipeline, where detection and segmentation outputs are fused to produce navigable-path and maritime-scene understanding in real time. Experimental results demonstrate improved mAP, recall, and small-object detection performance, as well as stable segmentation under challenging maritime conditions. The INT8-optimized pipeline achieves 55 ms end-to-end processing latency, satisfying the real-time requirements of USV onboard systems. Overall, this work establishes a practical and efficient onboard Edge-AI maritime perception framework, providing a foundation for real-time autonomous navigation and anomaly awareness in future USV systems.

목차 (Table of Contents)

• 1. 서 론 1
• 1.1. 연구 배경 및 필요성1
• 1.2. 연구 목적 및 범위 3
• 1.3. 연구 기여(Research Contributions)5
• 1.4. 연구의 주요 내용 및 구성 7
• 1.5. 기대효과 및 학문적, 산업적 의의 9
• 1.5.1. 학문적 의의 9
• 1.5.2. 산업적 의의 9
• 1.6. 관련 연구10
• 1.6.1. 무인 수상정(USV)의 자율운항 인지 기술 개요 10
• 1.6.2. 해상 비전 인식 및 세그멘테이션 기술 동향 12
• 1.6.3. 해상환경을 고려한 해상객체 및 해상영역 검출 모델선정 14
• 1.6.4. USV에서의 Onboard Edge-AI 플랫폼 활용 15
• 1.6.5. 해상 인식의 기술적 과제 17
• 2. 해상 비전 데이터셋 구축 18
• 2.1. 해상 비전 데이터 수집 18
• 2.1.1. 데이터 수집 장비 구성18
• 2.1.2. 촬영 환경 및 조건 20
• 2.1.3. AI-Hub 해상 객체 데이터셋 활용 21
• 2.2. 데이터 품질관리 22
• 2.3. 데이터 전처리 22
• 2.3.1. 전처리 단계 23
• 2.4. 해상 데이터 라벨링 24
• 2.4.1. 해상 데이터 클래스 정의 24
• 2.4.2. 데이터 구조 및 메타정보 설계 25
• 2.4.3. 메타정보 구조 설계27
• 2.5. 라벨링 자동화 28
• 2.6. 해상 객체 데이터 불균형 처리 29
• 2.6.1. 해상 객체 데이터의 불균형 특성29
• 2.6.2. 클래스 리밸런싱(Class Rebalancing) 전략 30
• 2.7. 데이터 증강(Argumentation)31
• 2.7.1. 해상객체 검출용 데이터 증강(Augmentation) 기법 31
• 2.7.2. 해상영역 검출용 데이터 증강(Augmentation) 기법 34
• 2.8. Calibration Dataset 35
• 2.8.1. Calibration Dataset 설계 목적 35
• 2.8.2. Calibration Dataset 구성36
• 3. 해상객체 검출37
• 3.1. YOLOv7 구조 개요37
• 3.2. Backbone, Neck, Head구성 및 하이퍼파라미터 설정 39
• 3.2.1. Backbone 구성 39
• 3.2.2. Neck 구성 44
• 3.2.3. Head 구성 48
• 3.3. 해상 객체 검출을 위한 전이학습(Transfer Learning) 방법 50
• 3.3.1. 사전학습(Pre-trained) 모델 선정 51
• 3.3.2. 전이학습(Transfer Learning) 절차51
• 4. 해상영역 검출52
• 4.1. 영역검출 모델 52
• 4.2. U-Net 구성53
• 4.2.1. 구조개선방안54
• 4.2.2. Encoder 구성 54
• 4.2.3. Decoder 구성 55
• 4.2.4. Skip Connection 56
• 4.2.5. 하이퍼파라미터 설정 56
• 4.3. 해상환경을 고려한 U-Net 구조개선 57
• 4.3.1. Adaptive Illumination Normalization (AIN)58
• 4.3.2. Reflection-aware Attention (RAA) Block 59
• 4.3.3. Wave-sensitive Decoder (WSD)60
• 4.4. 학습 데이터 구성 63
• 5. Onboard Edge-AI 플랫폼 환경을 고려한 모델 최적화 65
• 5.1. 모델 경량화 65
• 5.2. U-Net PTQ 적용 과정 및 INT8 변환66
• 5.2.1. PTQ 적용 파이프라인 66
• 5.2.2. INT8 변환 설정67
• 6. 실험환경 및 성능평가 70
• 6.1. 실험 환경 및 하드웨어 구성 70
• 6.1.1. 실험 목적 및 개요 70
• 6.1.2. 하드웨어 구성 71
• 6.1.3. 실험 환경 구성 72
• 6.1.4. 데이터셋 분할 비율72
• 6.2. 객체 검출 성능 평가 73
• 6.2.1. 객체검출 성능평가 지표 및 대상73
• 6.2.2. 객체검출 성능평가 결과 74
• 6.2.3. Edge환경에서의 객체 검출 성능 평가 결과 76
• 6.3. 해상영역 검출 성능 평가 77
• 6.3.1. 해상영역 검출 성능평가 지표 및 대상 77
• 6.3.2. 영역검출 성능평가 결과 78
• 6.3.3. Edge환경의 영역검출 성능평가 결과 79
• 6.4. 통합 파이프라인 성능평가80
• 7. 결론82
• 7.1. 연구 성과 요약 82
• 7.2. 한계점 및 개선 방향 84
• 7.2.1. 데이터셋 및 환경적 제약 84
• 7.2.2. 모델 구조 및 연산 제약 85
• 7.2.3. Edge-HW 제약 및 확장성 86
• 7.3. 향후 연구 제안 86
• 7.3.1. 다중 센서 융합 기반 자율항법 인지 시스템 87
• 7.3.2. Edge-NPU 기반 초저전력 실시간 인식 87
• 7.3.3. 해상 협력형 인지(Cooperative Perception) 시스템88
• 참조문헌 89