Skill-Based Imitation Learning for Safe End-to-End Autonomous Driving in Complex Urban Environments = 복잡한 도심 환경에서의 안전한 종단간 자율주행을 위한 스킬 기반 모방학습

국문 초록 (Abstract)

기존 규칙 기반 자율주행 경로 계획법은 모든 주행 시나리오를 명시적으로 설계해야 하고, 미처 설계에 반영하지 못한 코너 케이스에서는 적절하지 못한 판단과 불안정한 제어가 발생하기 쉬워 복잡한 도심 환경에서 한계가 뚜렷하다. 이를 보완하기 위해 모방학습과 강화학습 등을 이용한 학습 기반의 종단간 자율주행 기법이 활발히 연구되고 있으나, 대부분 저수준 제어 행동 공간에서 정책을 학습하기 때문에 먼 미래를 고려하기보다는 매 순간 들어오는 센서 정보에만 맞춰 속도와 조향을 자주 바꾸는 정책이 학습되고, 이 때문에 주행 궤적이 불안정해져 장기적인 경로 일관성을 확보하기 어렵다는 문제가 있다. 또한 이러한 방법들은 전문가 주행 데이터 속에 들어 있는, 지금은 차로를 유지해야 하는지 혹은 차로를 변경하거나 감속해야 하는지와 같은 고수준 의도를 따로 떼어 내어 명시적으로 모델링하지 않는 경우가 많다. 그 결과 교차로나 합류 구간과 같은 복잡한 도심 특이 구간에서는 주변 상황을 잘못 해석하고, 전문가와는 다른 행동을 선택하기 쉽다. 안전성 역시 충돌이나 차선 이탈 등을 직접적으로 제한하기보다는 간접적으로 다루는 경우가 많아 정량적으로 안전성을 보장하기 어렵다. 이러한 한계를 극복하기 위해 본 연구에서는 의도 인지 스킬 표현과 안전 제약을 결합한 새로운 종단간 자율주행 알고리즘 ISSIL(Intention-aware Safe Skill-based Imitation Learning)을 제안한다. ISSIL은 프레임 단위의 저수준 제어 대신 자차의 미래 횡방향 위치, 헤딩, 속도, 가속도를 파라미터로 하는 스킬 공간을 행동 공간으로 도입하여, 하나의 스킬이 연속적인 경로와 속도 프로파일을 생성하도록 함으로써 장기적인 주행 맥락을 반영하고 제어 입력의 급격한 변동을 구조적으로 억제한다. 또한, 단순히 상태–행동 시퀀스만으로는 동일한 환경에서 다르게 나타날 수 있는 전문가 의도들이 명확하게 분리되지 않고 섞여 나타나는 문제가 있어서, 이를 완화하기 위해 상태–행동 시퀀스, 벡터화된 웨이포인트 시퀀스, 단기 목표 지점을 함께 입력으로 사용하는 다중 뷰 스킬 인코더를 설계하여, 주변 도로 형태와 차량의 목표 위치를 함께 고려한 고수준 주행 계획이 잠재 공간에서 서로 잘 분리되도록 한다. 이렇게 학습된 스킬 인코더–디코더와 상태 의존 스킬 사전 분포를 고정한 뒤, 잠재 스킬 공간에서 동작하는 정책을 GAIL 기반 적대적 모방학습으로 학습하되, 상태 의존 스킬 사전 분포와의 KL 정규화를 통해 비현실적인 스킬 사용을 억제하고, 충돌과 차선 이탈 비용을 제약 조건으로 포함하는 CPO 기반 정책 업데이트를 적용함으로써 주어진 안전 한계 내에서 정책을 최적화한다. MetaDrive 시뮬레이터 상에서 원형 교차로, 비신호 교차로, 합류 및 램프 구간 등 다양한 도심 시나리오에 대해 여러 모방학습, 스킬 기반 강화학습, 역강화학습 알고리즘들과 비교 실험을 수행한 결과, ISSIL은 주행 성공률과 주행 점수뿐 아니라 충돌률과 차선 이탈률 등 안전 지표에서도 가장 우수한 성능을 보였다. 이를 통해 본 연구에서 제안하는 방법이 복잡한 도심 환경에서 안전성과 안정성을 동시에 확보하는 종단간 자율주행이 가능함을 확인하였다.

다국어 초록 (Multilingual Abstract)

Rule-based motion planners for autonomous driving require hand-crafted rules for every driving scenario. These planners can make wrong decisions and generate unstable control commands in corner cases that are not covered by these rules, which exposes clear limitations in complex urban environments. Learning-based methods such as imitation learning and reinforcement learning have been proposed to address these issues and have shown promising results. However, most existing methods learn a policy in a low-level control space, which causes the policy to change steering and speed frequently in response to current sensor inputs. This leads to unstable trajectories and makes it difficult to maintain consistent behavior over a longer horizon. In addition, these methods often do not explicitly separate high-level driving intentions in the expert data, which can cause the policy to misinterpret the situation and choose actions that differ from the expert behavior. Moreover, most works do not integrate explicit safety constraints into the policy update process, so it is hard to guarantee safety in a quantitative way. To address these issues, we propose ISSIL(Intention-aware Safe Skill-based Imitation Learning), a new end-to-end driving algorithm that learns intention-aware skill representations from expert demonstrations and trains the policy under safety constraints. Instead of operating in the low-level control space, ISSIL uses skill space as the action space, where each skill embedding is parameterized into the ego vehicle's future lateral position, heading, speed, and acceleration. Using these skill parameters, each skill is decoded into a continuous path and speed profile, which captures long-term driving context and reduces sudden changes in control commands. We also introduce a multi-view skill encoder that takes state--action sequence, vectorized waypoint sequence, and short-horizon goal point as an input. This encoder learns a latent skill space in which different high-level driving intentions are well disentangled, and each skill remains consistent with the surrounding road geometry and the vehicle's target position. After pretraining the skill encoder--decoder and a state-conditioned skill prior, we fix these modules and train the policy in the latent skill space with generative adversarial imitation learning (GAIL). We add a Kullback–Leibler divergence regularization term between the policy and the state-conditioned skill prior to discourage unrealistic skills, and we use constrained policy optimization (CPO) update rules with collision and lane departure costs as explicit constraints so that the policy is updated within predefined safety limits. We evaluate ISSIL on MetaDrive simulator in several complex urban driving scenarios, including roundabouts, unsignalized intersections, merging, and ramp segments. We compare our method with numerous baselines including imitation learning, skill-based reinforcement learning, and inverse reinforcement learning methods. ISSIL achieves higher success rates and driving scores, and lower collision and lane departure rates than all comparison methods. These results show that the proposed method can achieve both safety and stability for end-to-end autonomous driving in complex urban environments.

목차 (Table of Contents)

• 1 Introduction 6
• 2 Related Work 11
• 2.1 Imitation Learning for Autonomous Driving 11
• 2.2 Skill-Based Hierarchical Learning Methods 11
• 2.3 Safety-Constrained Learning Methods 12
• 2.4 Intention and Trajectory-Level Representations 12
• 3 Preliminary 14
• 3.1 Generative Adversarial Imitation Learning 14
• 3.2 Constrained Policy Optimization 15
• 3.3 Parameterized Motion Skills 16
• 4 Methods 18
• 4.1 Problem Statement 18
• 4.2 Model Overview 19
• 4.3 Expert Data Collection and Filtering 20
• 4.4 Intention-Aware Skill Pretraining 21
• 4.4.1 Input Representations for Skill Segments 21
• 4.4.2 Intention-Aware Skill Encoder 23
• 4.4.3 Skill Decoder 24
• 4.4.4 State-Conditioned Skill Prior 24
• 4.4.5 DTW-Based Region Labels 25
• 4.4.6 Training Objective 25
• 4.5 Skill-Based Adversarial Imitation Learning 26
• 4.5.1 Skill-Level Interaction with the Environment 27
• 4.5.2 Adversarial Skill-Based Policy Optimization 27
• 5 Experiments 30
• 5.1 Experiment Setting 30
• 5.1.1 Environment Setup 30
• 5.1.2 Expert Demonstration Collection 32
• 5.1.3 Baselines 33
• 5.1.4 Evaluation 33
• 5.2 Performance Comparison 34
• 5.3 Ablation Study 35
• 5.3.1 Effect of Skill Space and Safety Constraints 35
• 5.3.2 Effect of Motion Skills on Driving Comfort and Stability 36
• 5.3.3 Effect of Designs in Intention-Aware Multi-View Encoder 37
• 6 Conclusion 39