MVAdapt: Multi-Vehicle Zero-Shot Adaptation for End-to-End Autonomous Driving = MVAdapt: End-to-End 자율주행의 다양한 차량에서의 제로샷 적응

다국어 초록 (Multilingual Abstract)

One of the recent focuses of AI research is End-to-End Autonomous Driving, as it is gaining interest due to its promising potential. However, it has an unexplored limitation: driving performance decreases when an E2E driving AI model is deployed in vehicles that differ from those used in training, which we denote as vehicle domain gap. To address this problem, this paper introduces the framework MVAdapt, a novel foundation model for effective adaptation to various vehicle archetypes. The main contribution is a low-level multi-head transformer encoder that generates physics-integrated scene feature embeddings. By deriving physical properties of the target vehicle, MVAdapt dynamically decodes target vehicle-specific waypoints with real-time performance. Even in an unseen vehicle that has extreme physical differences, MVAdapt proves its few-shot adaptation ability, as it quickly closes the performance gap by leveraging a tiny dataset and fine-tuning with it. The evaluation experiments performed with the CARLA Leaderboard 1.0 benchmark demonstrate that MVAdapt outperforms state-of-the-art performance across various metrics. Our work presents a practical method for achieving robust cross-vehicle generalization, pioneering the way for more scalable and adaptable autonomous driving AI. Moreover, we propose a new research area for autonomous driving, vehicle-domain adaptation.

국문 초록 (Abstract)

최근 AI 연구분야에서 End-to-End 자율주행은 활발하게 연구되고 있다. 그러나, End-to-End 자율주행에서 이미 한 차량에 대해 학습된 모델이 다른 차량에 적용되었을 때 주행 성능이 감소한다는 한계점은 아직 학계에서 연구되지 않았다. 이 논문에서는 이 문제를 “차량 도메인 격차”라고 명명한다. 이를 해결하기 위해, 본 논문은 새로운 형태의 파운데이션 모델인 MVAdapt를 제안한다. MVAdapt의 핵심은 차량의 물리적 특성이 결합된 특징 임베딩 (physics-integrated scene feature embedding) 을 생성하는 트랜스포머 인코더이다. MVAdapt는 차량의 물리적 특성을 사용하여 실시간으로 해당 차량에 특화된 경로점을 생성한다. 특히 MVAdapt는 물리적 특성 차이가 매우 커서 좋은 주행성능을 보이지 못하는 차량에 대해서도 소량의 데이터셋을 이용한 파인튜닝을 통해 성능 격차를 빠르게 해소하는 퓨샷 적응 (few-shot adaptation) 능력을 보여주었다. CARLA 리더보드 1.0 벤치마크를 통해 MVAdapt는 다양한 지표에 걸쳐 기존 적응 모델들의 성능을 능가하는 것을 보였다. 본 연구는 강건한 차량 간 일반화를 달성하기 위한 실용적인 방법을 제시한다. 이를 통해 더욱 확장 가능하고 적응력 있는 자율주행 AI를 지향한다. 더 나아가, “차량 도메인 적응” (vehicle-domain adaptation) 이라는 자율주행 분야의 새로운 연구 영역을 제안한다.

목차 (Table of Contents)

• 개요 1
• 선행연구 4
• 연구방법 7
• 실험 10
• 결과 14
• 결론 19
• 참고문헌 20
• 한국어 초록 25