심층 강화학습 기반 경로 계획 및 방위각 기반 분산형 편대 제어를 통한 군집 비행 알고리즘 연구 = Research on Swarm Flight Algorithms Using Deep Reinforcement Learning for Path Planning and Bearing-Based Distributed Formation Control

국문 초록 (Abstract)

최근 기술의 발전으로 현대 전장에서 UAV(Unmanned Aerial Vehicle)의 사용이 증가함과 동시에, 이에 대응하기 위한 C-UAV(Counter UAV) 기술 또한 고도화되고 있다. 이러한 상황에 서 임무 수행의 안정성과 신뢰성을 확보하기 위한 분산형 군집 시 스템에 관한 관심이 높아지고 있으며, 특히 전장과 같이 제약이 큰 환경에 적합한 계층형 리더-팔로워 구조에 관한 연구가 활발히 진 행되고 있다. 본 연구에서는 정찰 및 감시 임무 수행을 위한 계층형 리더-팔로 워 구조의 분산형 군집 시스템을 제안한다. 리더 UAV는 Dubins 경 로 생성 기법을 이용하여 임무 구역 내 다중 경유점을 통과하는 경 로를 생성하고, 해당 경로를 추종하는 동시에 주변 장애물을 회피하 도록 설계하였다. 팔로워 UAV는 리더 UAV를 따라 목표 편대 형상 을 유지하며 비행하고, 편대 유지 과정에서 장애물을 자율적으로 회 피할 수 있도록 구성하였다. 리더 UAV의 경로 추종 및 장애물 회피를 위해 Soft Actor-Critic(SAC) 알고리즘 기반의 제어기를 설계하였으며, 성능 검증을 위한 기준 제어기로 Artificial Potential Field(APF) 기반의 비선형 경로 추종 제어기를 구현하였다. 수치 시뮬레이션을 통해 두 제어기를 비교 분석한 결과, SAC 기반 제어기는 기준 제어기와 유 사한 수준의 경로 추종 성능을 보였다. 반면, 장애물이 존재하는 환 경에서는 기준 제어기와 달리 장애물과의 충돌 없이 임계 거리를 유지하며 안정적인 회피 궤적을 생성하는 것으로 나타났다. 팔로워 UAV의 편대 비행을 위해서는 방위각 기반의 편대 비행 기법을 적용하였다. 기존 방위각 편대 비행 기법은 다수의 리더를 필요로 하거나 장애물 회피에 유연하게 대응하기 어려운 한계가 있 다. 이를 극복하기 위해 가상 리더 기반의 리더-팔로워 편대 비행 시스템을 제안하여, 단일 리더만으로도 군집을 구성하고 다양한 형 태의 편대를 설계할 수 있음을 보였다. 또한, 편대 형상 변화를 최 소화하면서 개별 기체가 자율적으로 위치를 조정해 장애물을 회피 할 수 있도록 하는 분산형 충돌 회피 알고리즘을 설계하였다. 마지막으로 리더 UAV의 SAC 기반 제어 시스템과 팔로워 UAV의 방위각 기반 제어 시스템을 통합한 전체 군집 시스템의 성능을 검증 하기 위해 ROS–Gazebo 기반 SITL(Software-In-The-Loop) 시뮬레 이션을 수행하였다. 그 결과, SITL 환경에서도 리더 UAV는 수치 시 뮬레이션 결과와 유사한 경향으로 비행하였으며, 팔로워 UAV들은 이 동하는 리더를 추종하면서 목표 편대 형상을 형성하였다. 더불어 편대 형상 변화를 최소화하는 동시에 장애물을 회피함으로써, 장애물이 존 재하는 환경에서도 제안한 군집 UAV 시스템이 유효하게 동작 가능함 을 확인하였다.

목차 (Table of Contents)

• 제1장 서론 1
• 1.1 연구 배경 및 필요성 1
• 1.2 연구 목표 6
• 1.3 연구 기여도 7
• 1.4 논문 구성 8
• 제2장 심층 강화학습 기반 경로 계획 9
• 2.1 다중 경유점 기반 경로 계획 기법 9
• 2.2 경로 추종 및 충돌 회피 기법 12
• 2.2.1 기준 제어기 설계 14
• 2.2.2 심층 강화학습 기반 제어기 설계 17
• 2.2.2.1 기본 개념 17
• 2.2.2.2 상태 공간(S) 설계 18
• 2.2.2.3 행동 공간(A) 정의 20
• 2.2.2.4 보상함수(R) 설계 21
• 2.2.2.5 관측 공간(O) 정의 25
• 2.2.2.6 Soft Actor-Critic 알고리즘 26
• 제3장 방위각 기반 분산형 편대 제어 29
• 3.1 방위각 기반 편대 비행 기법 29
• 3.2 기본 개념 31
• 3.3 방위각 기반 목표 형상 설계 36
• 3.4 모드 기반 제어기 설계 46
• 3.4.1 형상 추종 모드 설계 47
• 3.4.2 충돌 회피 모드 설계 51
• 3.4.3 형상 유지 모드 설계 53
• 제4장 시뮬레이션 및 분석 55
• 4.1 임무 시나리오 및 검증 절차 55
• 4.2 리더 UAV 경로 계획 시뮬레이션 56
• 4.2.1 리더 UAV 제원 및 경로 생성 결과 56
• 4.2.2 리더 UAV 제어기 설계 57
• 4.2.3 리더 UAV 경로 추종 성능 비교 59
• 4.2.4 리더 UAV 장애물 회피 성능 비교 63
• 4.3 군집 UAV 통합 SITL 시뮬레이션 구성 및 결과 67
• 4.3.1 군집 UAV 및 SITL 기반 시뮬레이션 환경 구성 67
• 4.3.2 SITL 시뮬레이션 결과 분석 70
• 제5장 결론 76
• 참 고 문 헌 78
• ABSTRACT 84