Energy-efficient collision avoidance for autonomous surface vehicles using deep reinforcement learning = 심층강화학습을 이용한 자율운항선박의 에너지 효율적 충돌 회피

국문 초록 (Abstract)

본 논문은 자율운항수상정(ASV) 운용에서 항행 안전성, 규정 준수 및 에너지 효율성 간의 균형을 달성하는 핵심 과제를 다룬다. 기존 심층강화학습(DRL) 기반 접근 방식은 기하학적 충돌 회피에 집중하는 경향이 있어, 부족구동(underactuated) 선박의 고충실도 유체동역학 특성과 에너지 소비 특성을 충분히 반영하지 못한다. 이러한 공백을 보완하기 위해, 본 연구는 Soft Actor-Critic(SAC) 알고리즘 기반의 에너지 효율적 충돌 회피 프레임워크를 제안한다. 제안된방법은고충실도 6자유도(6-DOF)동역학모델과물리기반보상함수를통합하며,추진기의세제곱 일률 특성(P ∝ n3)과 액추에이터 저크(jerk)에 명시적 패널티를 부여한다. 또한, 이질적인 상태 정보를 효과 적으로 처리하기 위한 Split-MLP 아키텍처와 국제해상충돌예방규칙(COLREGs, 제13–17조) 준수를 유도하기 위한 동적 조우 상황 분류 모듈을 도입한다. 표준 Imazu 벤치마크 시나리오에 대한 광범위한 시뮬레이션 결과, 제안 프레임워크는 93.2%의 충돌 회피 성공률을 달성하면서도, 더 높은 평균 속도에서 에너지 효율을 고려하지 않은 베이스라인과 대등한 수준의 비에 너지 비용(Ēs)을 유지함을 확인하였다. 또한 에이전트는 단호한 회피 기동과 에너지 최적 경로 추종 간의 균형을 학습하여 실용적 안전(Pragmatic Safety)에 부합하는 항해 행동을 구현하였다. 본 연구는 실제 해상 환경에서 친환경 자율항해 시스템을 적용하기 위한 검증된 경로를 제시한다. 핵 심 낱 말 심층강화학습, 충돌 회피, 자율운항수상정, 국제해상충돌예방규칙(COLREGs), 에너지 효율, Soft Actor-Critic

다국어 초록 (Multilingual Abstract)

This thesis addresses the critical challenge of balancing navigational safety, regulatory compliance, and energy efficiency in the operation of Autonomous Surface Vehicles (ASVs). Existing Deep Reinforcement Learning (DRL) approaches often prioritize geo- metric collision avoidance while neglecting the high-fidelity hydrodynamics and energy consumption characteristics of underactuated vessels. To bridge this gap, we propose a novel energy-efficient collision avoidance framework based on the Soft Actor-Critic (SAC) algorithm. Our approach integrates a high-fidelity 6-DOF dynamic model with a physics-informed reward function that explicitly penalizes cubic power consumption (P ∝ n3) and actuator jerk. Furthermore, we introduce a Split-MLP architecture to effectively process heterogeneous state information and a dynamic encounter classifica- tion module to promote adherence to COLREGs (Rules 13–17). Extensive simulations on the standard Imazu benchmark scenarios demonstrate that the proposed framework achieves a success rate of 93.2% while maintaining a specific energy cost (Ēs) compa- rable to non-energy-aware baselines, despite operating at a significantly higher average speed. The results confirm that the agent successfully learns Pragmatic Safety behav- iors, balancing decisive avoidance maneuvers with energy-optimal path following. This study provides a validated pathway for deploying eco-friendly autonomous navigation systems in real-world maritime environments. Keywords Deep Reinforcement Learning, Collision Avoidance, Autonomous Surface Vehicles (ASVs), COLREGs, Energy Efficiency, Soft Actor-Critic

목차 (Table of Contents)

• I. Introduction 1
• 1. Motivation and Problem Statement 2
• 2. Proposed Research and Contributions 3
• II. Background 6
• 1. Related Works6
• 1.1 Collision Risk Representation 6
• 1.2 Strategies for COLREGs Compliance 7
• 1.3 State Representation for Multi-Ship Scalability 8
• 1.4 Action Space and Control Continuity 9
• 1.5 Energy Efficiency in Autonomous Navigation 10
• 1.6 Benchmarking and Validation Protocols 10
• 2. Theoretical Background 11
• 2.1 High-Fidelity 6-DOF Hydrodynamic Modeling 11
• 2.2 Marine Propulsion Energy Model 13
• 2.3 Low-Level Motion Control Theory 17
• III. Methodology 19
• 1. System Specification: The Otter USV Platform 19
• 2. Hierarchical Control Architecture 21
• 3. Collision Risk Assessment and Rule Compliance 24
• 4. Deep Reinforcement Learning Framework 27
• 4.1 Problem Formulation 28
• 4.2 Action Space Definition 30
• 4.3 Reward Function Design 31
• 4.4 State Representation and Common Network Architecture 37
• 4.5 Soft Actor-Critic (SAC) 40
• 4.6 Twin Delayed DDPG (TD3) 44
• 4 .7 LSTM-Proximal Policy Optimization (PPO) 45
• 5. Experimental Protocol. 47
• IV. Experimental Setup 49
• 1. Standard Benchmark: Imazu Problems49
• 2. Baseline Algorithms for Comparative Analysis 49
• 3. Curriculum Learning and Transfer Strategy 52
• 4. Evaluation Metrics 54
• 5. Implementation Details 56
• V. Results and Discussion 58
• 1. Training Stability 58
• 2. Pareto Analysis: Safety vs. Energy 59
• 3. COLREG Compliance Breakdown 60
• 4. Qualitative Analysis: Isolating Speed Modulation 62
• VI. Conclusion 64
• 1. Future Works 65
• Appendix A. Imazu Scenario Initialization Details 67
• 1. Evaluation Protocol 67
• 2. Supplementary Representative Scenarios 68
• Bibliography 68