Real-Time Non-Invasive Monitoring and Mitigation of Passenger Motion Sickness in Autonomous Vehicles = 자율주행차 탑승객의 실시간 비침습적 멀미 모니터링 및 저감

다국어 초록 (Multilingual Abstract)

Motion sickness is one of the most significant driving discomforts, significantly impacting safety, driving experience, and satisfaction. Drivers and passengers may experience different patterns of motion sickness due to differences in their tasks and the resulting movement information they perceive. Drivers can anticipate driving information by directly controlling the direction and speed of the vehicle, which aligns with the actual movement perceived through visual and vestibular systems, resulting in relatively less motion sickness. In contrast, passengers lack controllability, making it difficult for their brains to anticipate driving information. This leads to sensory conflicts between perceived or expected movements and actual vehicle movements, which can trigger motion sickness.
This issue is becoming increasingly important with the widespread adoption of electric vehicles (EVs) and autonomous vehicles (AVs), potentially acting as a barrier to the user experience in the adoption process of new vehicle technologies and services. The acceleration profiles of EVs differ from those of conventional internal combustion engine vehicles, causing discrepancies between expected and actual vehicle movements. Meanwhile, in AVs, increased driver freedom and non-driving-related activities reduce movement perception and prediction, potentially increasing the likelihood of motion sickness.
Against this background, it is crucial to develop systems that can monitor and predict passenger states in real-time to prevent and alleviate driving discomfort in future mobility environments. Considering the sustainability and feasibility of such systems, non-invasive technologies for measuring and predicting motion sickness-related states are ultimately required. To this end, designing human-vehicle interaction that is appropriate for passenger states is also important.
Previous studies on motion sickness in vehicles have evaluated motion sickness using data from subjective questionnaires with single or multiple items, signal-based physiological measurements, and vehicle movement (kinetic dynamics). However, these approaches have shown limited success in real-time prediction due to individual variability in symptom expression and the dynamic nature of driving environments. Additionally, subjective indicators present challenges in collecting real-time continuous data and interfere with non-driving-related activities, while also failing to account for substantial individual differences in symptom manifestation and severity perception. Meanwhile, quantitative indicators are either invasive or provide only average severity estimates. To overcome these limitations, it is essential to develop passenger motion sickness monitoring systems that are applicable to real-world autonomous driving environments. These systems should reflect the relationships between self-reported severity, serving as the ground truth, and non-invasively collected data through physiological sensors and vision-based methods.
Accordingly, this research aims to develop real-time monitoring and prediction models for passenger motion sickness and design mitigation strategies for the driving environments through the following three objectives. First, to establish an experimental framework to collect and analyze the data acquired from real vehicle driving environments, thereby identifying the occurrence of motion sickness by symptoms. Second, to develop real-time monitoring and prediction models by integrating subjective questionnaires, physiological measure, and vision-based facial changes. This enables the proposal of non-invasive systems that can detect the onset of motion sickness and worsening symptoms. Third, to design interfaces and mitigation strategies that adaptively respond to passenger motion sickness states and explore human-vehicle interaction in AV environments.
Chapter 3 introduces the experimental methodology and data collection process in a real-driving environment. Multimodal data, including subjective ratings, physiological signals, and vision-based observations, were gathered. Chapter 4 proposes a real-time monitoring system that utilizes the empirical data to predict passenger motion sickness status by symptoms. The model integrates self-report, physiological, and computer vision-based facial features to enable robust non-invasive prediction. Chapter 5 explores mitigation strategies and interface design solutions to reduce motion sickness in AVs. Context-aware feedback and adaptive interaction designs are proposed, along with evaluation metrics for their effectiveness in alleviating discomfort.
This study contributes theoretically and methodologically by identifying relationships between major motion sickness symptoms, physiological changes, and vision-based facial changes, and by developing motion sickness measurement methodologies encompassing mild to severe symptoms in real driving environments. Most significantly, by ergonomically understanding the relationship between the accuracy of self-report methods and the practicality of non-invasive measurement methods and proposing monitoring systems based on this understanding, the study established a foundation for continuously detecting passenger motion sickness states and implementing appropriate mitigation measures while passengers engage in various non-driving-related activities in future AVs. This is expected to substantially enhance the user experience and acceptance of AVs.

국문 초록 (Abstract)

자동차 환경에서 멀미는 대표적인 주행 불편감(driving discomfort) 중 하나로 운전자와 탑승객의 안전, 주행 경험 및 만족감에 영향을 미치는 주요 요인이다. 운전자와 탑승객은 수행 과업과 이에 따라 수용하는 움직임 정보의 차이로 멀미의 양상이 다르게 나타날 수 있다. 운전자는 차량의 방향과 속도를 직접 조작하여 주행 정보를 예상할 수 있으며 이는 시각 및 전정기관으로 수용되는 실제 자동차 움직임과 일치하여 상대적으로 멀미를 적게 느낀다. 반면 탑승객은 주행에 대한 통제권(controllability)이 없기 때문에 뇌에서 주행 정보를 예상하기 어려우며, 인지 혹은 예상하는 움직임과 실제 자동차 움직임 간 차이로 감각 충돌이 발생하여 멀미가 유발될 수 있다.
이러한 문제는 전기차 및 자율주행차의 보급 확대와 함께 더욱 중요해지고 있으며, 새로운 차량 기술 및 서비스의 수용 과정에서 사용자 경험을 저해하는 장벽으로 작용할 수 있다. 전기차의 가속 방식은 기존 내연기관 자동차와 달라 자동차 움직임에 대한 기대와 실제 움직임 간 차이를 유발하며, 자율주행차에서는 운전자의 자유도 증가와 비주행관련 활동 증가로 움직임 인지 및 예측이 감소하여 멀미 발생 가능성이 높아질 수 있다.
때문에 자율주행 환경에서 탑승객의 주행 불편감을 예방 및 해소하기 위하여 탑승객의 상태를 실시간으로 모니터링하고 예측할 수 있는 시스템의 개발이 매우 중요하다. 시스템의 지속성과 실현 가능성을 고려할 때, 비침습적 방식으로 멀미 관련 상태를 측정하고 예측할 수 있는 기술이 요구된다. 또한 기술 수용의 측면에서 탑승객 상태에 기반한 적절한 인간-자동차(human-vehicle) 상호작용 설계 또한 중요하다.
기존의 자동차 멀미 연구에서는 단일 또는 다중 문항의 주관적 설문지, 생체신호 기반 정량적 지표, 차량의 움직임(kinetic dynamics) 등의 데이터를 활용하여 멀미를 평가하였다. 그러나 주관적 지표는 실시간 연속 데이터 수집이 어렵고 비주행관련 활동과 병행 시 수행에 방해가 되며, 정량적 지표는 침습적이거나 평균 심각도 추정치라는 한계가 있다. 이러한 한계를 극복하기 위해서는 탑승객이 실시간으로 느끼는 멀미 심각도를 기준값(ground truth)으로 파악하고 비침습적으로 수집 가능한 생체신호 및 vision-based 데이터 간의 관계성을 반영하여 실제 자율주행 환경에 적용 가능한 탑승객 멀미 모니터링 시스템의 개발이 매우 중요하다.
이에 따라 본 연구는 자율주행차 환경에서 탑승객의 멀미 상태를 실시간으로 모니터링하고, 예측하며, 이를 바탕으로 저감 전략을 설계하기 위한 다음과 같은 세 가지 목적을 가진다. 첫째, 실차 주행 환경에서 탑승객의 멀미 관련 데이터를 수집하고 분석할 수 있는 실험 체계를 수립한다. 이를 통해 멀미 및 증상 별 발현 여부, 심각도 등의 특성을 규명한다. 둘째, 주관적 설문, 생체신호, 시각 기반 얼굴 변화를 통합적으로 활용하여 실시간 모니터링 및 예측 모델을 구축한다. 이를 통해 멀미의 발생 시점과 증상 악화를 감지할 수 있는 비침습적 시스템을 제안한다. 셋째, 탑승객의 멀미 상태에 따라 적응형으로 반응하는 인터페이스 및 완화 전략을 설계하고, 자율주행 환경에서 적용 가능한 human-vehicle 상호작용 방식을 탐색한다.
제3장은 문헌 고찰과 파일럿 실험을 기반으로 설계된 실제 주행 환경에서의 실험 방법론과 데이터 수집 과정을 소개하며, 주관적 평가, 생리 신호, 영상 기반 관찰 데이터를 포함한 다중모달 (multimodal) 데이터를 수집하였다. 제4장은 수집된 데이터를 활용해 탑승자의 멀미 상태를 예측 실시간 모니터링 시스템을 제안하며, 자가 보고, 생체 신호, 영상 기반 특징을 통합하여 강건하고 비침습적인 예측이 가능하도록 한다. 제5장에서는 자율주행차에서의 멀미 감소를 위한 전문가 대상 Design Thinking Workshop을 수행하여 최적의 완화 전략 및 인터페이스 설계 방안과 효과를 검증하기 위한 평가 체계를 제안하였다.
본 연구는 멀미의 주요 증상들과 생리학적 변화, 시각 기반 얼굴 변화 간의 관계성을 규명하고, 실제 주행 환경에서 경미한 증상부터 심각한 증상까지 포괄하는 멀미 측정 방법론을 개발했다는 이론적, 방법론적 기여가 있다. 무엇보다 자가보고 방식의 정확성과 비침습적 측정 방식의 실용성 사이의 관계성을 인간공학적으로 파악하여 모니터링 시스템을 제안함으로써, 미래 자율주행차에서 탑승객이 다양한 비주행 관련 활동을 수행하는 동안에도 멀미 상태를 지속적으로 감지하고 적절한 저감 조치를 취할 수 있는 기반을 마련했다는 점에서 큰 의의가 있다. 이는 자율주행차의 사용자 경험과 수용성을 크게 향상시킬 수 있는 실질적인 기여가 될 것으로 기대된다.

목차 (Table of Contents)

• Abstract i
• List of Tables vii
• List of Figures ix
• Chapter 1 Introduction 1
• 1.1. Research Background 1
• 1.2. Research Objectives 6
• 1.3. Organization of the Thesis 6
• Chapter 2 Literature Review 8
• 2.1. Future Autonomous Driving Environment 8
• 2.2. Motion sickness in driving environment 11
• 2.3. Measurement and Estimation of Motion Sickenss 16
• 2.4. Real-time Monitoring System for Driving Discomfort 28
• 2.5. Mitigation Strategies 31
• Chapter 3 Evaluating Symptom Dimensions of Motion Sickness Through a Real-Driving Experiment 34
• 3.1. Overview 34
• 3.2. Method 35
• 3.3. Results 49
• 3.4. Discussion 53
• Chapter 4 Real-time Motion Sickness Prediction: A Multimodal Framework with Physiological and Facial Monitoring 62
• 4.1. Overview 62
• 4.2. Method 64
• 4.3. Results 73
• 4.4. Discussion 85
• Chapter 5 Motion Sickness Monitoring and Mitigation System in Autonomous Vehicles 104
• 5.1. Overview 104
• 5.2. Real-time Motion Sickness Monitoring System Architecture 105
• 5.3. Design Thinking Workshop for Mitigation Strategies 108
• 5.4. Motion Sickness Monitoring and Mitigation System Framework 125
• Chapter 6 Conclusion 132
• 6.1. Summary of Findings 132
• 6.2. Implications for Future Mobility 138
• 6.3. Limitations and Future Work 141
• Bibliography 143
• Appendix 163
• 국문초록 180