심층강화학습을 통한 지형 특징 기반 실시간 전역 경로계획 = Terrain feature driven Real-time Global Path planning via Deep Reinforcement Learning

국문 초록 (Abstract)

무인이동체의 활용이 증가함에 따라 무인이동체의 자율 유도제어 기술, 특히 3차원 지형에 서의 실시간 경로계획 기법의 중요성이 부각되고 있다. 기존의 샘플링 기반 경로계획 기법 들은 높은 계산 복잡도로 인해 실시간성 확보가 어렵고, 최적화 기반 기법들은 지역 최적해 에 빠지기 쉬우며 다양한 초기 조건에서 낮은 재현성을 보인다는 한계가 있다. 또한 대부분 의 기존 연구들은 지형의 특징을 국소적 관점에서만 활용하여 전역적으로 최적인 경로 생 성이 어렵다는 문제가 있다.
본 연구에서는 이러한 한계들을 극복하기 위해 심층강화학습 기반의 실시간 3차원 전역 경로계획 기법을 제안한다. 제안한 방법은 Height map으로 표현된 3차원 지형 정보를 입 력으로 받아 어텐션 메커니즘이 통합된 CNN을 통해 지형의 전역적 특징을 효과적으로 추 출한다. 추출된 특징은 SAC 알고리즘을 통해 연속적인 행동 공간에서 최적의 경로점을 순 차적으로 생성하는 정책 학습에 활용된다. 특히 경로의 정밀성과 실행 가능성을 향상시키기 위해 경로점 간 보간점 기반의 Path ratio를 도입하여 실제 비행 가능한 부드러운 경로 생 성을 보장한다. 또한 채널/공간 어텐션을 통해 경로 생성에 중요한 지형 특징에 선택적으로 집중할 수 있게 하여 학습 효율성을 높였다.
PSO 알고리즘과의 비교를 위하여 진행한 몬테카를로 시뮬레이션을 통해 제안된 방법의 우수성을 검증하였다. 실험 결과 제안한 방법이 경로의 최적성을 유지하면서도 뛰어난 연산 효율성 향상을 달성했으며, 특히 지형 복잡도 증가에도 불구하고 일정한 처리 시간을 유지 함을 보여준다. 이는 실제 무인이동체 운용 환경에서 요구되는 실시간 경로 재계획이 가능 한 수준의 성능임을 의미한다. 또한 다양한 초기 조건에서의 안정적인 경로 생성과 해의 완 전성 보장은 제안한 방법의 실용성과 신뢰성을 입증한다. 본 연구는 심층강화학습을 활용한 실시간 3차원 경로계획의 새로운 프레임워크를 제시하였다는 점에서 의의가 있으며, 향후 다양한 무인이동체 응용 분야에서 활용될 수 있을 것으로 기대된다.

다국어 초록 (Multilingual Abstract)

With the increasing utilization of unmanned vehicles, autonomous guidance and control technologies, particularly real-time path planning techniques in three-dimensional terrain, have become increasingly important. Existing sampling-based path planning methods face limitations in achieving real-time performance due to high computational complexity, while optimization-based approaches are prone to local optima and show poor reproducibility across various initial conditions. Furthermore, most existing studies generate suboptimal global paths as they only utilize terrain features from a local perspective.
This study proposes a deep reinforcement learning-based real-time 3D global path planning method to overcome these limitations. The proposed approach effectively extracts global terrain features through a CNN integrated with attention mechanisms, using height map representations of 3D terrain as input. These extracted features are then utilized in policy learning through the SAC algorithm to sequentially generate optimal waypoints in continuous action space. To enhance path precision and feasibility, we introduce an interpolation-based path ratio that ensures the generation of smooth, flyable trajectories. Additionally, channel/spatial attention mechanisms are employed to selectively focus on crucial terrain features for path generation, thereby improving learning efficiency.
The superiority of the proposed method was verified through Monte Carlo simulations comparing it with the PSO algorithm. Experimental results demonstrate that our approach achieves remarkable computational efficiency while maintaining path optimality, notably maintaining consistent processing time despite increasing terrain complexity. This performance level enables real-time path replanning capabilities required in actual unmanned vehicle operations. Furthermore, the stable path generation across various initial conditions and guaranteed solution completeness validate the practicality and reliability of our proposed method. This study is significant in presenting a novel framework for real-time 3D path planning using deep reinforcement learning and is expected to find applications across various unmanned vehicle domains.

목차 (Table of Contents)

• 제 1 장 경로 계획 문제
• 1.1 무인이동체의 경로계획
• 1.2 경로계획 연구 동향
• 1.2.1 탐색 기반 알고리즘
• 1.2.2 샘플링 기반 알고리즘
• 1.2.3 전역 경로계획 기법의 현재와 과제
• 1.3 학습 기반 경로계획
• 제 2 장 연구 배경
• 2.1 문제 정의
• 2.2 합성곱 신경망 (Convolutional Neural Network)
• 2.2.1 합성곱 신경망 이론
• 2.2.2 경로계획을 위한 CNN 구조 설계
• 2.3 심층강화학습
• 제 3 장 심층강화학습 기반 실시간 전역 경로생성
• 3.1 심층강화학습 환경 정의
• 3.1.1 Observation 정의
• 3.1.2 Action 정의
• 3.1.3 Reward Function 정의
• 3.1.4 Episode 정의
• 3.2 SAC (Soft Actor-Critic) 알고리즘
• 3.2.1 SAC 알고리즘의 이론적 기반
• 3.2.2 CNN-SAC 통합 구조
• 3.2.3 End-to-End 학습 메커니즘
• 3.2.4 알고리즘 주요 특성
• 3.3 학습 결과
• 3.3.1 유클리드 거리 학습 결과
• 3.3.2 보간점 추가 기반 학습 결과
• 제 4 장 시뮬레이션 및 분석
• 4.1 몬테카를로 시뮬레이션
• 4.2 결과 분석
• 4.2.1 단순 지형 결과
• 4.2.2 복잡 지형 결과
• 제 5 장 결론
• 참고문헌