GAIL 생성형 모방학습 및 PPO 강화학습을 이용한 안전한 END-TO-END 자율주행 경로추종 제어 기법 연구 = High-dynamic Safe Trajectory Tracking Control for End-to-End Autonomous Driving using GAIL Generative Imitation Learning and PPO Reinforcement Learning

다국어 초록 (Multilingual Abstract)

This study proposes an integrated control architecture for end-to-end autonomous driving by combining Generative Adversarial Imitation Learning (GAIL), Proximal Policy Optimization (PPO), and Nonlinear Model Predictive Control (NMPC). To address the limitations of reinforcement learning in real-world applications—such as instability during early exploration and the sim-to-real gap—GAIL is first used to generate a stable initial policy from expert driving data. This policy is further refined through PPO to improve adaptability and generalization across dynamic urban environments. However, since learning-based policies alone may overlook physical constraints of real vehicles, NMPC is employed to translate high-level policies into optimal control commands while respecting vehicle dynamics and safety limits. The proposed framework effectively combines the flexibility of learning-based methods with the robustness of model-based control. Simulation results using CARLA and digital twin environments demonstrate superior path tracking accuracy and driving stability compared to conventional BC+NMPC methods, highlighting the feasibility of hybrid learning-control integration for real-world autonomous driving systems.

목차 (Table of Contents)

• 제 1 장 서 론 01
• 1.1 연구 배경 01
• 1.2 연구 목적 및 필요성 08
• 제 2 장 End-to-End 자율주행 차량 제어 기법 12
• 2.1 자율 주행 기술 개요 12
• 2.2 모방학습의 개념과 GAIL 구조 15
• 2.3 강화학습의 원리와 PPO 알고리즘 20
• 2.4 강화학습과 모방학습 결합의 필요성 24
• 2.5 모델 예측 제어 개요와 NMPC 구조 27
• 제 3 장 GAIL과 PPO 기반 자율주행 경로 추종 정책 설계 32
• 3.1 전문가 데이터 수집 환경과 센서 기반 입력 구조 32
• 3.2 GAIL 생성형 모방학습 기반 초기 정책 학습 구조 34
• 3.3 PPO 강화학습과의 결합을 통한 정책 정제 과정 35
• 제 4 장 학습기반 안전한 E2E 자율주행 통합 제어기 설계 및 구현 40
• 4.1 NMPC 기반 경로 추종 제어기 설계 40
• 4.2 NMPC 제어기 내 동약학 제약 조건 구성 42
• 4.3 학습기반 안전한 E2E 자율주행 통합 제어기 구조 43
• 제 5 장 오픈소스 기반 자율주행 시뮬레이션 학습 환경 구성 47
• 5.1 ROS2 기반 모듈형 자율주행 프레임워크 47
• 5.2 CALRA 시뮬레이션 기반 자율 주행 시나리오 구성 50
• 제 6 장 실험 결과 및 결론 53
• 6.1 시뮬레이션 환경 실험 결과 및 분석 53
• 6.1.1 실험 환경 및 데이터 수집 53
• 6.1.2 학습 과정의 주요 성능 및 상세 손실 지표 분석 56
• 6.1.3 학습된 정책의 성능 평가: NMPC 적용 전후 비교 분석 66
• 6.2 연구 요약 및 고찰 74
• 6.3 향후 연구 76
• 참고문헌 80