KAAI-LM: 운전자 시선 주의 감시 및 위험 완화를 위한 다중 모드 데이터와 대형 언어 모델 기반 운전 안전 지원 시스템 = KAAI-LM: A Multimodal Data and Large Language Model-Based Driving Safety Assistance System for Enhanced Driver Awareness and Risk Mitigation

국문 초록 (Abstract)

본 연구는 운전자와 도로 환경에 대한 멀티모달 센서 데이터와 대규모 언어 모델 (LLM)을 활용하여 운전자의 주의 분산을 감지하고 경고하는 운전 안전 지원 시스 템을 개발하였다. 특히, 차량 외부 환경 센서 데이터로부터 주목해야 할 물체를 식 별하고, 운전자의 시선 데이터를 통해 해당 물체를 주시하고 있는지를 실시간으로 모니터링하며, 주의가 필요한 물체에 시선이 향하지 않을 경우 자연어로 경고를 제 공하여 운전 안전성을 향상시켰다. 이를 위해 본 연구에서는 Swin Transformer를 활용해 주변 물체를 인식하고, SUM 모델을 통해 주의 집중이 필요한 물체를 판별 하였다. 또한, 착용형 시선 추적기를 이용해 수집한 운전자의 응시점을 전방 카메라 이미지에 투영함으로써 위험 물체에 대한 주의 집중 여부를 판단하였다. 더불어, 대 규모 언어 모델인 LLaMA2를 도입하고 LoRA(Low-Rank Adaptation) 기술을 적용 해 주행 시나리오 기반 자연어 질의응답 작업에 시스템을 최적화시킴으로써, 운전 자의 주의가 분산된 상황에서 자연어로 경고를 제공할 수 있도록 하였다. 이러한 통합적 접근을 통해 시스템의 실시간 피드백 성능을 강화하고, 인간과 기계 간의 상호작용 편의성을 높여 미래 지향적인 운전자 인터페이스 구현에 기여하였다.

다국어 초록 (Multilingual Abstract)

This study presents the development of a driver safety assistance system designed tomonitor and mitigate driver distraction by leveraging multimodal sensor data from boththe driver and the surrounding road environment, integrated with a large languagemodel (LLM). The system identifies attention-critical objects using external vehiclesensor data, tracks the driver’s focus through gaze monitoring, and delivers naturallanguage warnings when the driver fails to concentrate on hazardous objects, therebyenhancing overall driving safety.
To implement this functionality, the system employs the Swin Transformer forrecognizing surrounding objects and the SUM model to pinpoint objects that demandfocused attention. The driver’s gaze data, collected via a wearable eye tracker, isprojected onto front-facing camera images to assess whether the driver is attentive topotential risks. Furthermore, the large language model LLaMA2 is incorporated andfine-tuned using the Low-Rank Adaptation (LoRA) method, optimizing it for naturallanguage question-and-answer tasks specific to driving scenarios. This allows thesystem to provide real-time verbal alerts in distraction-prone situations.
By integrating these advanced technologies, the system not only enhances real-timefeedback but also improves the efficiency and intuitiveness of human-machineinteraction, contributing to the advancement of future-oriented driver assistance interfaces.

목차 (Table of Contents)

• 제1장 서론 1
• 1.1 연구 배경 1
• 1.2 연구 목적 2
• 1.3 연구 내용 4
• 제2장 이론적 배경 6
• 2.1 운전자 주의력 및 시선 분석 6
• 2.1.1 전통적인 시선추적 기술 6
• 2.1.2 첨단 운전자 주의 감시 시스템 6
• 2.1.3 운전자 행동 예측 7
• 2.2 주행 장면에서의 물체 감지 8
• 2.2.1 컨볼루션 신경망 8
• 2.2.2 비전 트랜스포머 9
• 2.2.3 멀티모드 물체 감지 10
• 2.2.4 시각적 주목성 (Visual Saliency) 모델링 10
• 2.3 언어 이해를 위한 대규모 언어 모델(LLM) 12
• 2.3.1 LLM의 문맥 이해력 12
• 2.3.2 LoRA 미세 조정 기술 13
• 2.4 운전 보조 시스템에서의 멀티모드 데이터 통합 16
• 2.4.1 멀티모드 데이터 융합의 도전 16
• 2.4.2 멀티모드 데이터 융합을 위한 응용 17
• 2.4.3 멀티모드 융합을 위한 트랜스포머 아키텍처의 응용 17
• 2.4.4 셀프 어텐션 메커니즘의 적용 19
• 2.4.5 운전자 시선 데이터세트 19
• 2.4.6 운전자 의도 예측 데이터세트 20
• 2.4.7 도로 환경 데이터세트 21
• 제3장 관련연구 23
• 3.1 전통적인 모듈식 및 End-to-End 자율주행 시스템 23
• 3.2 대규모 언어모듈의 자유주행 응용 24
• 3.2.1 계획과 통제 24
• 3.2.2 감지와 다중 모드 데이터 융합 25
• 3.2.3 문답과 생성 26
• 3.3 데이터세트 및 평가 28
• 제4장 KAAI-DD 데이터세트 30
• 4.1 KAAI-DD 데이터세트 데이터 수집 31
• 4.1.1 장착된 센서 세트 33
• 4.2 데이터 수집 34
• 4.3 데이터 처리 36
• 4.4 데이터 주석 37
• 4.4.1 2D/3D 바운딩 박스 37
• 4.4.2 추적 개체 ID 37
• 4.4.3 운전 기동 분류 38
• 4.4.4 시선 방향 39
• 4.4.5 데이터세트 구성 41
• 제5장 LLM 기반 운전자 지원 시스템 44
• 5.1 KAAILM 아키텍쳐 44
• 5.2 객체 감지를 위한 Swin-transformer 모델 46
• 5.3 주의 물체 탐지 50
• 5.4 운전자 시선범위 추정 54
• 5.4.1 MAAD의 소개 54
• 5.4.2 MAAD를 응용한 운전자 주의 산만의 탐지 56
• 5.5 LoRA 미세 조정에 사용하는 LLM 모델 57
• 5.6 QA(질의응답) 메커니즘의 설계 58
• 5.6.1 전방 장애물 인식 및 QA 생성 58
• 5.6.2 주의가 필요한 장애물 식별 및 QA 생성 59
• 5.6.3 운전자 주의 상태 분석 및 QA 생성 59
• 제6장 실험결과 및 분석 61
• 6.1 실험 결과 61
• 6.1.1 Swin Transformer 실험 결과 61
• 6.1.2 LLaMA2 모델 실험 결과 61
• 6.2 멀티모드 융합의 장점과 도전 63
• 6.3 LLaMA2에 대한 LoRA 미세 조정의 기여 66
• 6.4 복잡한 장면에서의 시스템 적합성 68
• 제7장 결론 71
• 7.1 연구 성과 71
• 7.2 향후 개선 방향 72
• 참고문헌 73
• Abstract 80