차량 내 주요 HMI 기능에 대한 딥러닝 기반 오조작 판단 연구 = Deep Learning-Based Misoperation Detection for Frequently Used In-Vehicle HMI

국문 초록 (Abstract)

최근 차량 내 HMI(Human-Machine Interface) 기능의 확대·고도화는 운전자의 조작 요소와 처리해야 할 정보를 증가시키고 있으며, 이는 오조작(Misoperation) 위험을 높이는 주요 원인이다. 오조작은 조작 이벤트 자체가 아니라 주행 맥락과 실제 조작 간의 부적합성에서 발생하는 맥락 의존적인 현상이다. 이러한 오조작은 발생 빈도가 극히 낮은 희소성과 다양한 양상을 띠는 비정형성이라는 구조적 제약을 가지므로, 일관된 정답 라벨 데이터를 대규모로 확보하여 지도 학습을 수행하는 것은 사실상 불가능하다. 또한 기존의 HMI 사용성 평가는 설문 등 주관적인 방법에 의존하여 실사용 맥락의 객관적인 오조작 판단 기준으로 활용될 수 없다는 한계가 존재한다.
이에 본 연구는 오조작 데이터 확보의 어려움을 극복하고 맥락 적합성을 판단하기 위해, 정상 주행 데이터만을 활용하는 딥러닝 기반의 정상성 모델링 및 오조작 판단 프레임워크를 제안한다. 제안 모델은 Multi-Head LSTM 구조를 채택하여, 1단계(Stage 1)에서 정상 패턴을 학습한 뒤 현재 맥락에 가장 적합한 조작을 예측한다. 이후 2단계(Stage 2)에서는 모델의 예측 의도와 실제 운전자의 입력 간의 정보적 차이를 BCE 기반의 불확실성 점수로 산출하여 오조작 여부를 결정한다.
오조작 판단을 위한 임계값은 정상 검증 데이터의 95번째 백분위수를 기준으로 설정된다. 나아가 본 연구는 단순한 이진 판단을 넘어, 정상 조작과 얼마나 유사한지를 불확실성 점수를 통해 도출하고 이를 기반으로 기능별 조작 안정성을 정량적으로 분석하였다.
실험 결과, 제안 모델은 정상 조작과 오조작이 혼재된 테스트 시나리오에서 평균 F1-Score 0.89, AUROC 0.90 수준의 우수한 판단 성능을 달성하였다. 본 연구는 실제 차량 데이터를 기반으로 오조작을 정량적으로 판단하며 HMI 설계와 사용에 대한 안정성을 평가할 수 있는 데이터 기반 체계를 제시했다는 점에서 학술적 및 산업적 의의를 갖는다.

다국어 초록 (Multilingual Abstract)

The increasing number and complexity of functions in car interfaces (HMI - Human-Machine Interface) require drivers to handle more controls and information. This significantly raises the chance of misoperation (making a mistake while operating the controls).
A misoperation isn't just pressing the wrong button; it’s an action that is inappropriate for the current driving situation (context). Because these mistakes are very rare and happen in many different, irregular ways, getting enough labeled data to train a standard machine learning model is nearly impossible. Existing ways to evaluate HMI usability, like surveys, are subjective and don't provide objective criteria for real-world driving errors.
To overcome the lack of misoperation data and objectively assess if an action is right for the context, this study introduces a Deep Learning framework that learns what is "normal" behavior using only data from normal driving.
The core of the system is a Multi-Head LSTM model. In Stage 1, it learns patterns of normal operation and predicts what the most suitable control input should be given the current driving context. In Stage 2, it compares the model's prediction with the driver's actual input. The difference between these two is calculated as an uncertainty score (based on BCE), which then determines if a misoperation has occurred.
The threshold for flagging a misoperation is set based on the score of the top 5% most "abnormal" normal driving examples. Going beyond a simple "yes/no" decision, the uncertainty score also helps quantify the stability of operating different HMI features.
In tests that included both normal and incorrect operations, the proposed model showed excellent performance, achieving an average F1-Score of 0.89 and an AUROC of 0.90. This research is important because it offers a data-driven method to objectively detect misoperations allow us to quantitatively evaluate the safety of HMI designs using real-world vehicle data.

목차 (Table of Contents)

• 제1장 서론 1
• 1.1 연구 배경 1
• 1.2 연구 필요성 2
• 1.3 연구 목적 및 기여 4
• 1.4 논문 구성 및 연구 범위 5
• 제2장 관련 연구 7
• 2.1 규칙 기반 오조작 판단 연구 7
• 2.2 학습 기반 오조작 판단 연구 9
• 제3장 오조작 정의 및 데이터 구성 15
• 3.1 오조작 정의 및 분류 기준 15
• 3.2 주요 HMI 기능 정의 17
• 3.3 데이터 수집 개요 18
• 3.4 조작 맥락 데이터 구성 18
• 3.5 데이터 전처리 및 시나리오 구성 23
• 제4장 딥러닝 기반 HMI 오조작 판단 25
• 4.1 문제 정의 25
• 4.2 규칙 기반 방향 지시등 오조작 판단 26
• 4.3 딥러닝 기반 오조작 판단 모델 29
• 4.4 학습 전략 35
• 제5장 실험 및 결과 38
• 5.1 데이터셋 구성 및 평가 환경 38
• 5.2 성능 평가 척도 42
• 5.3 실험 결과 및 성능 분석 47
• 5.4 데이터 기반 HMI 조작 안정성 평가 54
• 제6장 결론 57
• 6.1 연구 요약 57
• 6.2 연구의 의의 및 기여 57
• 6.3 한계점 및 향후 연구 방향 58
• 참고문헌 60
• Abstract 65
• 감사의 글 67