Accelerating end-to-end multimodal autonomous driving via supervised token reduction

다국어 초록 (Multilingual Abstract)

In autonomous driving, end-to-end (E2E) driving systems that predict control commands directly from sensor data achieved significant advancements. For safe autonomous driving in unexpected scenarios, one may additionally rely on human interventions such as natural language instructions. Using a multi-modal large language model (MLLM) in autonomous driving facilitates human–vehicle interactions, and may improve driving performances in unexpected scenarios. However, this approach requires substantial computational resources due to its reliance on an LLM and many visual tokens from sensor inputs, that are inherently limited in autonomous vehicles. Many MLLM studies have explored reducing the number of visual tokens, and many approaches tend to exhibit some end-task performance degradation compared to using all tokens. For efficient E2E driving while maintaining driving performance comparable to using all tokens, this thesis proposes the first Supervised Token Reduction framework for Multi-modal LLMs.
The proposed SToRM framework consists of three key elements. First, we propose a lightweight importance predictor with short-term sliding windows that predicts the importance scores of visual tokens. Second, we propose a supervised learning approach for the importance predictor, that uses an auxiliary path to obtain pseudo-supervision signals from an all-token pass through the LLM. Third, guided by predicted importance scores, we propose an anchor–context merging module that partitions tokens into “anchors” and “context” tokens, then merges the latter into their most relevant anchors to reduce redundancy while minimizing information loss. Experiments with the LangAuto benchmark dataset show that the proposed SToRM outperforms state-of-the-art E2E driving MLLM under an equal reduced-token budget and maintains all-token performance while substantially reducing computational cost, by up to 30×.

국문 초록 (Abstract)

자율주행 분야에서 카메라와 라이다 등 다양한 센서 데이터를 활용하여 제어 신호를 직접 예측하는 엔드투엔드 (E2E) 주행 시스템은 최근 눈에 띄는 발전을 이루고 있다. 그러나 예측이 어려운 시나리오에서 안전성을 확보하기 위해, 본 시스템은 자연어 명령과 같은 인간의 개입에 추가적으로 의존한다. 자율주행에 멀티모달 대규모 언어 모델 (MLLM, Multi-modal Large Language Model) 을 활용하는 접근은 사람과 차량 간의 상호작용을 촉진하고, 예기치 않은 상황에서의 주행 성능을 향상시키는 효과를 입증하고 있다. 하지만 이러한 접근 방식은 LLM 에 대한 높은 의존도와 센서 입력으로부터 발생하는 방대한 시각 토큰 수로 인해 막대한 계산 자원을 요구하며, 이는 자율주행 차량의 제한된 하드웨어 환경에서 근본적인 제약으로 작용한다. 기존의 많은 멀티모달 대규모 언어 모델 연구에서는 시각 토큰의 수를 줄이기 위한 다양한 방안을 제시해왔으나, 대부분의 방법은 모든 토큰을 사용하는 경우에 비해 성능 저하라는 한계를 드러냈다.
이에 본 논문에서는 모든 토큰을 사용하는 수준에 준하는 주행 성능을 유지하면서 효율적인 E2E 주행을 달성하기 위해, 최초의 멀티모달 대규모 언어모델을 위한 가상 지도 학습을 통한 토큰 축소 프레임워크인 ’SToRM (Supervised Token Reduction framework for Multi-modal LLMs)’ 을 제안한다. 제안된 SToRM 프레임워크는 세 가지 핵심 요소로 구성된다. 첫째, 시각 토큰의 중요도를 예측하는 경량화된 중요도 예측 모듈을 국소 부분의 슬라이딩 윈도우 방식으로 설계하였다. 둘째, 중요도 예측 모듈을 지도 학습하기 위해, 모든 토큰을 통과시키는 LLM 경로에서 가상 지도 신호를 생성하는 보조 경로를 활용하였다. 셋째, 예측된 중요도 점수를 기반으로 시각 토큰을 앵커와 컨텍스트 토큰으로 구분하고, 후자를 가장 관련성 높은 앵커에 병합하여 정보 손실을 최소화하면서 중복성을 제거하는 앵커-컨텍스트 병합 모듈을 제안하였다.
LangAuto 벤치마크 데이터셋을 활용한 실험 결과, 제안된 SToRM 은 동일한 토큰 감소 수에 대해 기존 최신 멀티모달 대규모 언어 모델 기반의 엔드 투 엔드 주행 모델보다 우수한 성능을 보였으며, 모든 토큰을 사용하는 모델 수준의 성능을 유지하면서도 계산 비용을 최대 30 배까지 절감하는 효과를 입증하였다.

목차 (Table of Contents)

• Chapter 1. Accelerating end-to-end multimodal autonomous driving via supervised token reduction 1
• 1. Introduction 1
• 2. Related works 5
• 2.1 E2E autonomous driving 5
• 2.2 MLLMs in E2E autonomous driving 6
• 2.3 Visual token reduction 6
• 3. Methods 9
• 3.1 Modality encoding 11
• 3.2 Main path 13
• 3.3 Proposed auxiliary path for training 22
• 3.4 Control 22
• 3.5 E2E training loss 23
• 4. Experimental results and discussion 24
• 4.1 Experimental setups 24
• 4.2 Comparisons between SToRM and SOTA E2E driving MLLM with different LLM scales 27
• 4.3 Comparisons between different visual token reduction methods in MLLM-based E2E driving 27
• 4.4 Comparisons b/w different importance predictor designs 27
• 4.5 Comparisons between different visual token reduction approaches in ACM module 30
• 4.6 Image visualizations 30
• 5. Conclusion 32
• References 34
• Korean Abstract 42