Hierarchical Reinforcement Learning with Hilbert Representation for Urban Autonomous Driving = 도심 자율주행을 위한 힐버트 표현 기반 계층적 강화학습

다국어 초록 (Multilingual Abstract)

Reinforcement learning (RL) offers a principled framework for learning driving policies from interaction with the environment. However, its application to urban autonomous
driving is hindered by long-horizon credit assignment, safety constraints, and limited opportunities for online exploration. Hierarchical RL mitigates these issues by decomposing decision-making into high-level planning and low-level control. Existing approaches often rely on variational autoencoders (VAEs), whose latent skills are optimized for reconstruction rather than for capturing the temporal structure of driving. As a result, the learned skills may not align with meaningful maneuvers or support coherent long-term planning.
This work proposes a hierarchical RL framework for urban autonomous driving built on Hilbert representations rather than VAE-based latent skills. First, a Hilbert encoder is trained on offline driving data so that Euclidean distances in the latent space approximate temporal distances between states. On top of this temporally grounded representation, a low-level skill policy is learned using intrinsic rewards that measure directional progress in the Hilbert space, which allows skills to be interpreted as latent directions. Finally, a high-level policy operates over these skills at a coarser time scale, selecting skill directions to maximize the original environment reward.
The proposed method is trained purely offline using the LMDrive dataset and evaluated in the CARLA simulator. Comparative experiments against various baselines indicate that the Hilbert-based hierarchy improves long-horizon decision-making, achieving more reliable urban driving behavior and better overall performance.

국문 초록 (Abstract)

장기 보상의 어려움, 안전 제약으로 인해 도심 자율주행에 온라인 강화학습을 적용하는 데에 한계가 있다. 선행 연구에서는 장기 계획 능력 문제를 완화하기 위해 계층적 강화학습을 사용해 왔다. 이러한 방법은 주로 변분 오토인코더 (VAE) 기반 잠재 스킬에 의존한다. 그러나 이 잠재공간은 재구성에 최적화되어 있어, 주행에서 의미 있는 행동 단위나 장기 계획 구조를 충분히 반영하지 못한다.
본 연구는 변분 오토인코더 대신 힐버트 표현을 학습하여 잠재 공간이 행동의 시간적 구조를 직접 반영하도록 한다. 오프라인 주행 데이터로부터 힐버트 표현을 학습하고, 잠재 상태 공간에서의 유클리드 거리가 실제 궤적 상의 시간적 거리와 가깝도록 설계한다. 이후 힐버트 표현 위에 저수준 정책과 고수준 정책을 학습하여 계층적 구조를 구성한다. 저수준 정책은 힐버트 상태와 스킬 방향 벡터를 입력으로 받아 제어 명령을 출력한다. 고수준 정책은 주어진 힐버트 상태와 목표 상태를 기반으로, 스킬 방향 벡터를 출력하도록 학습한다.
실험은 CARLA 시뮬레이터와 LMDrive 오프라인 주행 데이터셋을 활용하였으며, CARLA Leaderboard 1.0의 경로를 대상으로 성능을 평가한다. 평가 결과, 제안한 힐버트 기반 계층 정책은 다른 비교 대상들에 비해 높은 점수를 달성한다. 또한 동일한 힐버트 표현을 공유하는 평면 정책과의 비교를 통해, 표현 자체의 이점뿐 아니라 고수준 정책을 통한 명시적인 스킬 선택이 장기 계획과 분포 변화에 대한 강인성을 추가로 제공함을 보인다.
종합하면, 본 논문은 다중 RGB 관측에서 학습한 힐버트 표현 위에 스킬 방향을 정의하고, 이를 이용해 오프라인 환경에서 계층적 정책을 학습하는 새로운 자율주행용 강화학습 프레임워크를 제안한다. 제안 방법은 변분 오토인코더 기반 계층 구조보다 시간적으로 정렬된 잠재공간을 제공하여, 복잡한 도심 환경에서 장기적인 주행 계획과 안전한 행동 선택을 일관되게 수행할 수 있음을 시뮬레이터 실험을 통해 입증한다.

목차 (Table of Contents)

• 1. Introduction 1
• 2. Related Works 4
• 2.1. Offline Reinforcement Learning 4
• 2.2 Hierarchical Reinforcement Learning 5
• 2.3 Unsuperviesd Reinforcement Learning 5
• 2.4 Reinforcement Learning for Autonomous Driving 6
• 3. Preliminaries 8
• 3.1 Problem Formulation 8
• 3.2 Hilbert Representation 9
• 3.3 Hierarchical Reinforcement Learning 10
• 4. Method 12
• 4.1 Hilbert Representation Learning 12
• 4.2 Low-level policy Learning 15
• 4.3 High-level policy Learning 17
• 4.4 Why Hilbert representation Instead of VAE? 18
• 5. Experiments 25
• 5.1 Experimental Setting 25
• 5.2 Baselines 27
• 5.3 Results 28
• 5.4 Ablation Study 31
• 5.5 Qualitative Analysis 32
• 6. Conclusion 34
• Bibliography 36
• Abstract in Korean 41