Integrated Autopilot and Guidance for Missile Based on Reinforcement Learning Considering Impact Angle and Field-of-view Limit = 유도탄의 충돌각 및 시야각 제한을 고려한 강화학습 기반 통합 유도제어 설계

국문 초록 (Abstract)

본 논문은 강화학습 기법을 활용하여 충돌각 및 탐색기의 시야각 제한을 고려한 유도 및 자동조종장치 통합 설계 기법을 제안한다. 설계한 유도 기법은 정지
표적 또는 기동하지 않는 이동 표적을 대상으로 한다.
먼저, 두 단계로 이루어진 학습 과정을 통해 유도법칙을 설계한다. 각 학습 단계에서 유도명령은 기준 항과 편차 항으로 이루어진다. 기준 항은 이미 알고 있거나
이전 학습 단계에서 설계한 유도 법칙을 이용하여 계산하며, 편차항은 강화학습 기법을 이용해 특정한 제약 조건을 고려하도록 설계한다. 이와 같이 학습을 단계적
으로 수행하는 방법은 이전 단계에서 설계한 유도법칙의 특성을 보존할 수 있다는 장점이 있다. 첫 번째 단계에서는 충돌각 제약을 고려한다. 기준항은 유도탄이 적은
유도오차로 표격을 요격할 수 있도록 비례항법 유도법칙에 따라 계산한다. 비례항법 유도법칙을 따를 때 예측되는 충돌각을 계산하고, 이를 이용해 목표 충돌각과
예측되는 충돌각 사이의 오차를 줄이도록 편차항을 설계한다. 두 번째 단계에서는 시야각 제한을 고려한다. 앞에서 얻은 유도법칙을 이용해 기준항을 계산하고,
편차항은 유도탄의 관측각이 시야각 제한값 이내로 유지되도록 설계한다.
두 번째로, 활강 유도탄의 통합 유도 및 제어법칙을 설계하기 위한 서로 다른 두 가지 방법을 제안한다. 첫 번째 방법에서는 강화학습을 이용하여 유도탄의 종축
동역학과 공력을 고려하는 가속도 추종 자동조종장치를 유도법칙과 독립적으로 설계한 뒤, 이를 유도법칙과 합친다. 두 번째 방법에서는 특정한 유도 법칙으로부터
계산되는 가속도 명령을 이용하여 자동조종장치를 학습함으로써, 그 유도 법칙에 적합한 자동조종장치를 얻는다.
마지막으로, 다양한 조건에 대한 수치 시뮬레이션을 통해서 본 연구에서 제안한 자동조종장치 및 유도기법의 효용성을 분석하였다. 우선, 학습기법으로 설계한 유도법칙과 자동조종장치에 대해 개별적인 성능분석을 수행하였다. 최종적으로 유도기법과 자동조종장치가 통합된 유도조종 시스템에 대한 성능분석을 수행하였 으며, 기존 해석적 기법과 비교하여 효과적임을 확인하였다.

다국어 초록 (Multilingual Abstract)

This dissertation proposes an integrated design of guidance law and autopilot for a missile against stationary or non-maneuvering moving targets using a deep reinforcement learning (RL) approach that considers impact angle constraints and the seeker's field-of-view (FOV) limit.
In the first part of the dissertation, a guidance law is developed through a two-stage learning process. In each learning stage, the acceleration command of the guidance law is formulated as a sum of the baseline command and the bias command. The baseline command is computed by a guidance law that is pre-designed before the learning stage begins. The bias command is designed through the RL method during the learning stage to achieve a specific constraint that is being addressed in that stage. The cascaded learning approach proposed in this study is advantageous because the subsequent learning phase tends to preserve the characteristics of the guidance law achieved in the preceding stage. The first stage addresses the impact angle constraint. The proportional navigation (PN) guidance law is set as the baseline guidance law, which provides the minimal feature of achieving the interception within an acceptable miss distance. A mathematical expression is derived to predict the impact angle achieved by the missile when it is guided under PN guidance. Then, the prediction for the impact angle is leveraged to design the bias command that reduces the error between the desired impact angle and the predicted impact angle. The second stage addresses the FOV limit constraint. The guidance law obtained in the preceding stage is set as the baseline guidance law, and the bias command is designed to maintain the look angle under the FOV limit.
In the second part of the dissertation, two different methods are proposed to integrate guidance and control loops for a gliding missile. In the first method, an autopilot is separately designed to track step acceleration commands using an RL method, and then combined with a guidance law. In the second method, an autopilot is designed using the acceleration command generated from the specific guidance law during the training.
Finally, the effectiveness of the proposed method is demonstrated through numerical simulation under various conditions. The performance of each guidance law from the learning stages and the autopilot is evaluated separately. Then, the integrated guidance and control system is investigated to assess the overall performance.

목차 (Table of Contents)

• 1 Introduction 1
• 1.1 Background and Motivation 1
• 1.2 Literature Review 2
• 1.3. Objectives and Contributions 8
• 2. Preliminaries
• 2.1 Equations of Motion 11
• 2.2 Two-dimensional Engagement Kinematics 16
• 2.3 Reinforcement Learning 19
• 2.4 Proximal Prolicy Optimization 21
• 3 Guidance Law Design Based on Reinforcement Learning 27
• 3.1 Impact Angle Prediction of Proportional Navigation Guidance 30
• 3.2 Learning for Impact Angle Control 32
• 3.3 Learning for Look Angle Control 36
• 3.4 Application to Moving Target 40
• 4 Integrated Autopilot and Guidance Design Based on Reinforcement Learning 49
• 4.1 Integration with Linearized Rotational Dynamics 49
• 4.2 Learning Autopilot 53
• 4.3 Integration with Guidance Laws 57
• 5 Numerical Simulation 61
• 5.1 Common Training Setting 62
• 5.2 Impact Angle Control Guidance 65
• 5.3 Look Angle Control Guidance 69
• 5.4 Application to Moving Target 81
• 5.5 Integration with Linearized Rotational Dynamics 87
• 5.6 Trained Autopilot 93
• 6 Conclusion 101
• 6.1 Concluding Remarks 101
• 6.2 Future Work 103