End-to-end autonomous driving with two-stage path planning using diffusion model

국문 초록 (Abstract)

최근 자율주행 기술은 기존의 모듈식 방법에서 end-to-end 방식으로 빠르게 변화하고 있다. 기존의 모듈식 자율주행 시스템은 주로 인지, 계획, 제어의 분리된 모듈들로 구성된다. 각 모듈을 개별적으로 개발하고 평가할 수 있기 때문에, 모듈식 시스템은 개발 속도와 해석 가능성 측면에서 장점을 가진다. 하지만, 모듈식 시스템 구조로 인해 오차 누적과 같은 여러 문제점 또한 존재한다. 이러한 문제들을 해결하기 위해, end-to-end 자율주행 시스템이 새로운 방법론으로 등장했다. end-to-end 자율주행 시스템은 카메라와 라이다를 포함한 센서 입력으로부터 자차의 미래 경로나 제어 입력을 생성하는 통합된 네트워크다. 전체 시스템이 단일 신경망으로 구성되기 때문에, 네트워크의 모든 파라미터들은 학습 과정 동안 동일한 목적 함수로 최적화된다. 또한, end-to-end 시스템은 backbone과 head와 같은 각 모듈을 특징 수준에서 연결하기 때문에 추론 과정에서 정보 손실이 해결될 수 있다. 그러나 end-to-end 방식은 모델의 추론 결과에 대한 해석 가능성이 부족하고, 긴 추론 시간이라는 한계점들을 갖는다.
이러한 문제들을 해결하기 위해, 본 연구에서는 컴퓨터 비전 분야의 2단계 객체 탐지기에서 영감을 받아, 2-stage 아키텍처 기반의 end-to-end 경로 생성 시스템을 제안한다. 제안된 모델은 세 가지 주요 모듈로 구성된다: 인지 모듈, stage-1 경로 계획 모듈, 그리고 stage-1 경로 계획 모듈이다. 먼저, 인지 모듈은 카메라 및 LiDAR 센서 데이터를 입력으로 받아 BEV 특징을 추출한다. BEV 특징을 기반으로 초기화된 agent 및 map 쿼리들은 cross-attention 메커니즘을 사용하여 업데이트된다. 다음으로, stage-1 경로 계획 모듈은 map 쿼리, 자차 상태, 그리고 주행 커맨드로부터 경로 proposal들을 생성한다. stage-1 경로 계획 모듈은 오직 도로 구성 요소와 주행 커맨드에만 초점을 맞추어 주어진 장면에 대한 다양한 경로 proposal들을 생성한다. 마지막으로, stage-2 경로 계획 모듈은 diffusion 모델을 사용하여 최종 궤적을 생성한다. Diffusion 모델의 forward 과정을 경로 proposal에 적용하기 위해, 경로 proposal의 각 포인트에 가우시안 노이즈가 추가된다. Forward 과정 후, 노이즈가 포함된 경로는 stage-2 경로 계획 모듈의 조건 입력인 BEV 특징과 agent 쿼리를 사용하여 노이즈가 제거된다. stage-2 경로 계획 모듈은 장면의 동적 구성 요소와 전반적인 특징에 초점을 맞추어 최종 경로를 생성한다.
제안된 모델은 NAVSIM 데이터셋과 PDMS 지표를 사용하여 학습 및 평가되었으며, VADv2와 성능 비교를 수행했다. 제안된 모델의 PDMS는 VADv2보다 낮았지만, 안전성 관련 성능 지표에서는 VADv2를 능가했다. 또한, 제안된 모델은 계층적 추론 아키텍처와 효율적인 네트워크 구조를 통해 디버깅과 실차 환경 적용에 필수적인 해석 가능성과 실시간성을 향상하였다.

다국어 초록 (Multilingual Abstract)

Recently, the trend of autonomous driving has rapidly changed from the existing modular method to the end-to-end method. Existing modular autonomous driving systems usually consist of separate modules of perception, planning, and control. Since each module can be developed and evaluated separately, the modular systems have advantages in development speed and interpretability. However, due to the modular system architecture, several problems, such as the accumulation of errors, also exist. In order to address these issues, the end-to-end autonomous driving system has emerged as a new trend. An end-to-end autonomous driving system is a unified network that generates the future trajectory or control input of the ego vehicle from the sensor inputs. Since the entire system consists of a single neural network, all parameters of the network are optimized with the same objective functions during the training process. In addition, since the end-to-end system connects each module at the feature level, the information loss during the inference can be resolved. However, the end-to-end method has limitations in that it lacks interpretability of the inference results of the model, and a long inference time.
To address these issues, inspired by a 2-stage object detector in computer vision, this study proposes a 2-stage architecture-based end-to-end planning system. The proposed model consists of three main modules: the perception module, the stage-1 planning module, and the stage-2 planning module. First, the perception module gets camera and LiDAR sensor data inputs and extracts the Bird’s Eye View (BEV) feature. With the BEV feature, the initialized queries of agents and map instances are updated using a cross-attention mechanism. Next, the stage-1 planning module generates proposals from the map instance queries, ego status, and driving command. The Stage-1 planning module focuses on the static components of the scene and generates diverse trajectory proposals for the given scene. Lastly, the stage-2 planning module generates the final trajectory using the diffusion model. In order to apply the forward process of the diffusion model to the trajectory proposals, Gaussian noise is added to the trajectory proposals. After the forward process, the noisy trajectories are denoised using conditional inputs of the stage-2 planning module: BEV feature and agent queries. The Stage-2 planning module focuses on the dynamic components and overall features of the scene and generates the final trajectory.
The proposed method was trained and evaluated with the NAVSIM dataset and the PDMS metric, and the comparison was performed with VADv2. PDMS of the proposed model was worse than VADv2, but the proposed model outperformed VADv2 on the performance related to the safety. In addition, the proposed model improved the interpretability and real-time performance with a hierarchical reasoning architecture and lightweight network design, which is essential for debugging and real-world vehicle deployment.

목차 (Table of Contents)

• 1. Introduction 1
• 1.1 Background 1
• 1.2 Related Works 3
• 1.3 Purpose of This Study 6
• 2. Perception Module 8
• 2.1 Input Data 8
• 2.1.1 Input Modality 8
• 2.1.2 Data Preprocessing and Normalization 9
• 2.2 Backbone Network 12
• 2.3 Attention-based Agent and Map Query Update 14
• 3. Planning Module 19
• 3.1 Stage-1 Planning Module 19
• 3.1.1 Ego-conditioned Proposal Query Initialization 21
• 3.1.2 Map-Command Fusion and Proposal Generation 23
• 3.2 Stage-2 Planning Module 26
• 3.2.1 Diffusion Model 26
• 3.2.2 Diffusion Process of Stage-1 Proposals 30
• 3.2.3 Denoising Process with Conditional Diffusion Decoder 32
• 4. Model Architecture and Training 36
• 4.1 Model Implementation 36
• 4.2 Training Strategy 38
• 4.2.1 Training Details 38
• 4.2.2 Planning Loss 39
• 4.2.3 Auxiliary Loss 43
• 4.2.4 Total Loss 45
• 5. Experiment 46
• 5.1 Benchmark and Evaluation Metrics 46
• 5.1.1 NAVSIM Benchmark 46
• 5.1.2 PDM Score 50
• 5.2 Quantitative Results 53
• 5.3 Qualitative Results 57
• 5.3.1 Straight Driving Scenario 57
• 5.3.2 Left Turning Scenario 59
• 5.3.3 Decelerating Scenario 61
• 5.3.4 Collison-Avoiding Scenario 63
• 5.3.5 Interaction Scenario 65
• 5.3.6 Verification of Interpretability 68
• 5.4 Ablation Study 71
• 5.4.1 Effectiveness of Diffusion Model 71
• 5.4.2 Effectiveness of Diversity Loss 73
• 6. Conclusion 76
• References 78
• Abstract 84