생체모방 유영로봇의 조류에 강건한 심층강화학습 기반 경로 추종 제어기 설계=

다국어 초록 (Multilingual Abstract)

Recently, with the increasing interest in underwater exploration and resource development, development and research on underwater robots capable of performing these tasks is also naturally growing. Bio-inspired autonomous underwater vehicles (BI-AUVs) offer more advantages than autonomous underwater vehicles (AUVs) in propulsive efficiency. It’s because they imitate the mechanism of locomotion and structure from aquatic animals. However, the dynamics of BI-AUVs are dominated by nonlinear forces and complicated phenomena, such as complex fluid–structure interactions (FSI), which challenge the design of classical controllers that are sensitive to model inaccuracies and environmental uncertainties. To address those issues, deep reinforcement learning (DRL) provides an alternative by learning control policies through interacting in complicated underwater environments. The BI-AUVs can learn from trial and error, enabling adaptation to changing conditions. Nonetheless, DRL typically requires large-scale data and tends to be trained in simulation, which introduces a simulation-to-reality (Sim2Real) gap due to imperfect dynamics, sensor noise, and actuator delays. A robust learning framework is introduced that considers ocean currents during training and mitigates the Sim2Real gap in this study. Through domain randomization and curriculum learning, the study aims to enable zero-shot transfer to real-world operation. By adopting domain randomization, the parameters of fins and body are randomly varied during training. Moreover, the initial stage of curriculum learning helps BI-AUVs learn stable postures to follow the path and track the points. In later stages, the BI-AUVs swim in complicated paths under ocean currents and learn the policy to overcome ocean currents.. The proposed method reduced execution time by about 50.2s and the cross-track error (CTE) to 0.13 meters compared to the PID controller in ocean currents. Results indicate that the proposed approach achieves waypoint tracking in complex environments and offers a practical methodology for deploying the BI-AUVs in field exploration.

국문 초록 (Abstract)

최근 인구 증가 및 세계 경제가 발전함에 따라 해양 환경에 관해 관심이 높아지고 있다. 이에 따라, 자원 개발과 수중 환경 탐사를 위해 수중 로봇에 대한 연구와 개발도 자연스럽게 증가하고 있다. 그 중, 생체모방 유영로봇 (Bio-inspired autonomous underwater vehicles, BI-AUVs)은 자율 무인 잠수정 (Autonomous underwater vehicles, AUVs)과 달리 수중 생명체의 활동 메커니즘이나 신체 구조를 모방함으로써 민첩한 기동성과 추진 효율성을 가지기 때문에 점차 각광받고 있다. 그러나, 생체모방 유영로봇의 지느러미 관절 구조와 유선형 몸체 때문에 비선형적인 힘이 발생하고, 기존 모터 제어 방식으로는 어려움이 발생하게 된다. 이로 인한 유체-구조물 간 상호작용과 환경 외란에 의한 수학적 모델링을 통해 동역학 방정식을 구성하는 데 한계가 있다. 결과적으로, 모델 부정확성과 환경 불확실성에 민감한 기존의 전통적인 제어기는 강건한 제어 설계에 대해 어려움을 갖는다. 심층강화학습은 에이전트가 환경에서 직접 상호작용을 통해 최적의 제어 정책을 학습할 수 있으므로, 이러한 한계를 극복하기 위한 대안으로 제시된다. 그러나 심층강화학습은 모델을 학습하는 데 대규모 데이터가 필요하므로 시간 비용을 절약하고, 실험 수행 안정성을 높이기 위해 시뮬레이션에서 주로 학습된다. 시뮬레이션에서 학습된 모델은 불완전한 동역학, 센서 잡음, 액추에이터 지연 현상 등으로 인해 시뮬레이션과 실제 환경 사이의 간극이 발생하여 학습된 모델의 성능이 예상보다 저하되는 문제가 있다. 본 연구에서는 Sim2Real 문제를 해결하기 위해 두 가지 학습 요소가 반영된 심층강화학습 기반 경로 추종 제어기 설계를 수행하였다. 첫째, 모델 학습 과정에서 해류를 고려하였으며 둘째, 도메인 랜덤화 기법 적용을 통해 지느러미와 몸체에 대한 동역학 제원을 무작위화하고 커리큘럼 학습을 통해 강건한 경로 추종 제어기를 설계하고자 하였다. 도메인 랜덤화 기법을 통해 생체모방 유영로봇의 지느러미와 관절에 대한 계수, 유체력 미계수를 포함하여 매 학습 과정마다 일정 범위 내에서 무작위로 조절하는 방식으로 적용하였다. 그리고 커리큘럼 학습 과정을 통해 초기 단계에서는 경로 추종을 위한 안정적인 자세 학습을 배우고, 후기 학습 과정에서 복잡한 수중 환경에서도 어려운 경로 추종하는 방법을 학습할 수 있도록 유도하였다. 이를 통해 시뮬레이션에서 학습된 모델이 Zero-shot으로 전환할 수 있는 학습 방안 설계에 기여하고자 한다. 시뮬레이션 검증 결과는 조류가 있는 상황에서도 심층강화학습 기반 모델이 PID 모델에 비해 임무 수행 시간을 약 50.2초 단축하고 경로 이탈 오차 (Cross-track error, CTE)를 약 0.13 미터 만큼 감소한 결과를 통해 강건한 경로 추종 성능을 보여준다. 이를 통해 제안된 방법이 복잡한 실해역 환경에서도 목표 경로 추종을 달성하여 생체모방 유영로봇의 해양 탐사 등에 대해 실용적인 방안을 제시한다.

목차 (Table of Contents)

• List of Tables· ⅲ
• List of Figures ⅳ
• Abstract· ⅵ
• 1. 서론 1
• 1.1 연구 배경 1
• 1.2 선행 연구 3
• 1.3 연구 목표 및 제안 기법 6
• 2. 생체모방 유영로봇 7
• 2.1 생체모방 유영로봇 플랫폼 7
• 2.2 좌표계 정의 8
• 2.3 동역학· 10
• 2.3.1 몸체· 10
• 2.3.2 부가질량 13
• 2.3.3 감쇠력 14
• 2.3.4 복원력 16
• 2.3.5 환경 외란 17
• 2.4 지느러미 동역학 19
• 2.4.1 가슴지느러미 20
• 2.4.2 꼬리지느러미 21
• 2.5 동역학 모델 검증 24
• 3. 심층강화학습 기반 제어 구조 26
• 3.1 기계학습 26
• 3.1.1 지도학습 27
• 3.1.2 비지도학습 27
• 3.1.3 강화학습 28
• 3.2 심층강화학습· 29
• 3.2.1 딥러닝 29
• 3.2.2 마르코프 결정 과정 31
• 3.2.3 벨만 방정식 32
• 3.3 Advantage Actior-Critic 33
• 3.3.1 상태 공간 35
• 3.3.2 행동 공간 36
• 3.3.3 보상 함수 37
• 3.4 이중 루프 제어기 41
• 3.5 도메인 랜덤화 43
• 3.5.1 Simulation-to-Real Gap 43
• 3.5.2 도메인 랜덤화 적용· 43
• 3.6 커리큘럼 학습 45
• 4. 시뮬레이션 검증 48
• 4.1 시뮬레이션 환경 48
• 4.2 학습 결과 50
• 4.3 시뮬레이션 결과 53
• 4.3.1 경로 추종 제어 모델 비교 검증 – 조건 A 54
• 4.3.2 경로 추종 제어 모델 비교 검증 – 조건 B 56
• 4.3.3 경로 추종 제어 모델 비교 검증 – 조건 C 58
• 4.3.4 경로 추종 제어 모델 비교 검증 – 다양한 조류 조건 62
• 4.3.5 정량적 평가 결과 64
• 5. 결론 및 고찰 66
• 5.1 결론 66
• 5.2 고찰 67
• 참고문헌· 68
• 초록· 72