무인기 운용을 위한 멀티 에이전트 강화학습 연구 = A Study on Multi-Agent Reinforcement Learning for the Operation of UAVs

국문 초록 (Abstract)

최근 인구 감소와 전장 환경의 급격한 변화는 제한된 자원을 적극적으로 활용하고, 자율적 협력 전략을 구사할 수 있는 무인기 군집 운용 기술의 필요성을 크게 부각시키고 있다. 본 연구는 실제 전장 상황에서 군집 무인체계의 운용 및 설계 방향을 도출하는 것을 목적으로 한다. 연구에서는 Unity 기반 시뮬레이션 환경과 MA-POCA(Multi-Agent POsthumous Credit Assignment) 알고리즘을 활용하여, 멀티 에이전트 강화학 습 프레임워크를 구축하였다. 이를 적용한 실험 설계는 두 가지 핵심 축으로 구성하였다. 첫째, 적 드론의 수에 대한 아군 드론 투입 대수를 조정하며 임무 성공률, 군집 협력정책의 수렴 패턴, 그리고 대표 성능지표(누적 보상, 에피소 드 길이, 정책 엔트로피 등) 변화를 정량적으로 비교 분석함으로써, 각 임무 조건에서의 가장 효율적인 아군 운용 대수를 도출하였다. 둘째, 대표 조합 내 에서 핵심 보상값(타겟 파괴 시)을 1, 3, 5의 다양한 스케일로 변화시켜, 보상 설계의 크기 및 구조가 협력 정책의 안정성, 탐험-수렴 균형, 팀워크 효율 등 행동 정책 및 학습 성능 지표에 미치는 영향을 비교, 평가하였다. 실험 결과, 아군 대 적군 4:3 및 5:4의 구성비에서 임무 성공률과 협력 효율 이 높게 나타났으며, 타겟 파괴 보상값을 3으로 설정한 경우 정책의 수렴 속 도, 집단 행동 다양성, 학습 효율성 측면에서 모두 최적의 성능이 확인되었다. 각 단계는 환경 파라미터 및 보상 함수의 세분화 설계와 통제된 실험 조건에 서 진행되었고, 실제 군집 운용 시스템의 전략적 의사결정 요인에 대한 실증 적 근거를 제공한다. 나아가 본 연구는 강화학습 기반 군집 운용 분야뿐만 아 니라, 실제 전장 시뮬레이션 설계의 기준 마련에 기여할 것으로 기대된다.
주요어 : 멀티 에이전트, 군집 무인기, 시뮬레이션, MA-POCA, 협력 정책, 강화학습

목차 (Table of Contents)

• 제1장 서 론 1
• 1.1. 연구 배경 및 목적 1
• 1.2. 연구 범위 및 내용 3
• 제2장 관련연구 4
• 2.1. Unity ML-Agents 4
• 2.2. 멀티 에이전트 강화학습 6
• 2.3. 연구 동향 13
• 제3장 멀티 에이전트 강화학습 설계 15
• 3.1. 환경 요소 15
• 3.2. 강화학습 시나리오 17
• 3.3. 보상 체계 20
• 제4장 실험 및 분석 22
• 4.1. 실험 조건 및 방법 22
• 4.2. 결과 분석 26
• 제5장 결 론 33
• 참고문헌 35