심층 강화학습 기반 유무인기 복합 전투 체계에서의 순차적 임무할당 연구 = A Study on Deep Reinforcement Learning based Sequential Mission Allocation in Manned-Unmanned Teaming Combat System

국문 초록 (Abstract)

본 학위논문은 유·무인기 복합체계(MUM-T) 운용자를 위한 의사결정지원시스템에서 효율적인 임무할당 결과를 도출하기 위한 방법으로, 임무패턴 결정과 임무객체 할당 과정을 포함한 순차적 임무할당 프로세스에 심층 강화학습 알고리즘을 적용한 학습 기반의 순차적 자율 임무할당 방법론을 제시한다. MUM-T 운용자를 위한 의사결정지원시스템은 초기 임무 계획 및 재계획이 필요한 상황에서 신속하고 적절한 의사결정 결과를 도출해야 한다. 효과적인 임무 할당을 위해 무인기의 비행 및 촬영 형태에 따른 임무 패턴 선정이 필요하며, 임무 환경의 실시간 변화에 대응할 수 있는 준최적해가 신속히 도출되어야 한다. 본 연구에서는 유·무인기 복합체계의 임무 할당 문제를 순차적인 구조로 분할하여, 각 단계에서 학습 기반 방법론으로 해결하고자 한다. 초기 순서인 임무패턴결정 과정에서는 비행 및 촬영 형태에 따른 임무 패턴을 결정하고, 다음 단계인 임무객체할당에서는 선택된 임무 패턴들을 각 플랫폼에 배정하고, 스케줄링하여 임무가 원활히 수행되도록 조정한다. 이를 위해 비행 및 촬영 형태별 임무 패턴 라이브러리를 구축하였고, 임무패턴 선택을 위한 기준으로 비행 및 촬영 효과도를 산출하였다. 임무객체할당 문제는 신경망 기반 조합 최적화 문제로 설계하여 각 유·무인기의 임무와 순서를 결정하고, 전체 작전의 효과도를 포함한 임무 할당 결과를 운용자에게 제공한다.
효율적인 임무할당 결과 도출을 위해 각 임무할당 과정을 순차적 의사결정 문제로 모델링하였으며, 폴리시 그래디언트 기반 심층 강화학습을 통해 훈련된 정책 신경망에 의해 처리하였다. 유·무인 협업 전투 시나리오에서 제안된 프로세스를 설계하고, 수치 시뮬레이션을 통해 다른 접근법들과 비교하여 학습 기반 접근법의 의사결정지원시스템 적용 효용성을 확인하였다.

다국어 초록 (Multilingual Abstract)

This thesis describes the learning-based sequential autonomous mission allocation framework using a deep reinforcement learning algorithm that can assist decision-making systems for MUM-T operators, mainly focusing on the efficient allocation of missions in a sequential process, including mission pattern selection and mission object assignment. The MUM-T operators' decision-support system must make rapid and proper decisions in situations where there is initial mission planning and replanning. In effective mission allocation, the selection of mission patterns based on flight and imaging modes is very important, with generating near-optimal solution ability to adapt quickly under real-time changes in mission environments.
In this study, the mission allocation problem in a MUM-T system is divided into a sequential structure, and each stage is addressed using a learning-based approach. In the initial stage, which handles mission pattern selection, mission patterns are determined according to flight and imaging types. In the subsequent stage, which is responsible for mission object assignment, the selected patterns are allocated to each platform and scheduled to ensure smooth mission execution. To support this process, a mission pattern library was constructed based on flight and imaging types, and flight and imaging effectiveness were calculated as criteria for mission pattern selection.
The mission object assignment problem was formulated as a neural network-based combinatorial optimization problem to determine each MUM-T platform's missions and their sequence, providing mission allocation results, including the overall operational effectiveness, to the operator. For each arriving efficient mission allocation result, each mission allocation process has been modeled as a problem of sequential decision making: it is managed by a policy network, trained by using a policy-gradient-based deep reinforcement learning algorithm. It is applied to the proposed process of MUM-T cooperative combat and is numerically simulated with utility, compared to other approaches, for proving the effectiveness of the approach in use.

목차 (Table of Contents)

• 제1장 서론 1
• 제1절 연구 배경 1
• 제2절 연구 목적 7
• 제3절 연구 로드맵 10
• 제2장 이론적 배경 12
• 제1절 기존 연구 분석 12
• 제2절 기초 이론 및 개념 17
• 제3장 순차적 자율임무할당 프로세스 22
• 제4장 유무인 복합 전투 시나리오 및 가정사항 26
• 제5장 임무패턴결정 28
• 제1절 문제 정의 28
• 제2절 임무패턴 라이브러리 구축 30
• 제3절 임무효과도 산출 39
• 제4절 마르코프 결정 과정 정식화 51
• 제5절 강화학습 기반 계획수립 54
• 제6절 베이스라인 알고리즘: 완전 탐색 기반 최적 패턴 결정 60
• 제6장 케이스 스터디 1: 임무패턴결정 62
• 제1절 문제 설정 62
• 제2절 오프라인 학습: 정책 네트워크 훈련 64
• 제3절 온라인 추론 및 결과 66
• 제7장 임무객체할당 84
• 제1절 문제 정의 84
• 제2절 수학적 정식화 87
• 제3절 마르코프 결정 과정 정식화 92
• 제4절 작전효과도 산출 96
• 제5절 트랜스포머-강화학습 기반 계획수립 98
• 제6절 베이스라인 알고리즘: Hybrid Genetic Search 111
• 제8장 케이스 스터디 2: 임무객체할당 112
• 제1절 문제 설정 112
• 제2절 오프라인 학습: 정책 네트워크 훈련 114
• 제3절 온라인 추론 성능 평가 117
• 제9장 결론 131
• 제1절 결론 131
• 제2절 향후 계획 133
• 참고문헌 135
• 국문초록 141