Multimodal EEG?fNIRS Sensing of VR Cyber Sickness and Its Mitigation by Transcutaneous Cervical Vagus Nerve stimulation = 멀티모달 뇌파-기능적근적외선 분광법 기반 VR 사이버 멀미 측정 및 경피적 경부 미주신경자극을 통한 완화

다국어 초록 (Multilingual Abstract)

Multimodal EEG–fNIRS Sensing of VR Cyber Sickness and Its Mitigation by Transcutaneous Cervical Vagus Nerve Stimulation by Seulgi Kim Department of Electronics Engineering Graduate School, Kookmin University, Seoul, Korea < Adviser: Prof. Seung Min Lee > Virtual Reality (VR) technology offers immersive experiences; however, this technology is limited owing to cyber sickness (CS), a condition originating from sensory conflict. Although transcutaneous cervical vagus nerve stimulation (tcVNS) has emerged as a potential intervention for autonomic regulation, the effectiveness of tcVNS in mitigating VR-induced CS across different stimulation timings remains underexplored. This study aimed to develop a custom-built wearable system to simultaneously measure electroencephalography (EEG) and conduct functional near- infrared spectroscopy (fNIRS), and quantitatively verify the mitigation effects of tcVNS based on application timing. Specifically, a multimodal hardware system was fabricated to record frontal EEG and hemodynamic responses while delivering electrical stimulation. Fifteen healthy participants experienced a roller coaster simulation under VR using four real stimulation (non, pre, online, post) and two sham (sham-pre, sham-online) were applied from different timing. Subjective sickness levels were assessed using the fast motion sickness (FMS) scale and simulator sickness questionnaire (SSQ), while physiological changes were analyzed using power spectral density derived from EEG and oxyhemoglobin (∆HbO) concentration derived from fNIRS. The results demonstrated that the online-stimulation condition, in which tcVNS was applied concurrently with sickness induction, exhibited the most potent mitigation effect. This condition significantly suppressed the increase in subjective sickness scores and inhibited the excessive increase in the power of the frontal theta band and ∆HbO observed under the non-stimulation condition. The pre-stimulation condition showed a preventive effect, which was less sustained than the online condition. The post-stimulation condition effectively facilitated recovery, evidenced by a rapid decrease in theta band power during the rest phase. Furthermore, no significant mitigation was observed under the sham conditions, confirming that the effects were driven by electrophysiological mechanisms, rather than placebo factors. In conclusion, this study validates the efficacy of applying tcVNS as a non- invasive intervention for alleviating CS and demonstrates the reliability of the self- fabricated multimodal sensing system. Most importantly, the findings suggest that online-stimulation is the optimal protocol to prevent and suppress CS symptoms in VR environments.

국문 초록 (Abstract)

가상 현실(VR) 기술은 몰입감 있는 경험을 제공하지만, 감각 불일치로 인해 발생하는 사이버 멀미는 VR의 광범위한 사용을 제한하는 주요 요인이다. 경피적 경부 미주신경자극이 자율신경계 조절을 위한 중재법으로 주목받고 있으나, VR 사이버 멀미에 대한 구체적인 완화 효과와 최적의 자극 시점에 관한 연구는 아직 미비하다. 따라서 본 연구에서는 뇌파(EEG)와 기능적 근적외선 분광법을 동시에 측정할 수 있는 웨어러블 시스템을 자체 제작하고, 이를 통해 경피적 경부 미주신경자극의 자극 시점에 따른 멀미 완화 효과를 정량적으로 검증하고자 하였다.
이를 위해 전두엽 EEG와 혈류역학적 반응을 측정하면서 전기 자극을 인가할 수 있는 통합 하드웨어 시스템을 개발하였다. 15명의 건강한 성인을 대상으로 VR 롤러코스터 영상을 이용해 멀미를 유발하였으며, 실험 조건은 무자극(대조군), 사전 자극, 동시 자극, 사후 자극의 실제 자극 조건과 두 가지 위약 조건으로 구성되었다. 주관적 멀미 수준은 FMS와 SSQ를 통해 평가되었으며, 생체 신호는 EEG 전력 스펙트럼 밀도와 산소헤모글로빈 농도 변화를 분석하였다.
실험 결과, 멀미 유발과 동시에 자극을 인가한 동시 자극 조건에서 가장 강력한 멀미 완화 효과가 나타났다. 해당 조건에서는 주관적 멀미 점수의 증가가 억제되었으며, 무자극 조건에서 관찰된 전두엽 Theta 대역 전력 및 산소헤모글로빈 농도의 과도한 증가가 유의미하게 감소하였다. 사전 자극은 예방 효과를 보였으나 동시 자극에 비해 효과의 지속성이 낮았으며, 사후 자극은 휴식 구간에서 Theta 전력을 빠르게 감소시켜 멀미 회복을 촉진하는 데 효과적임을 확인하였다. 반면, 위약 조건에서는 유의미한 멀미 개선 효과가 나타나지 않아, 본 연구의 결과가 단순한 플라시보 효과가 아닌 경피적 경부미주신경자극의 전기생리학적 기전에 기인함을 입증하였다.
결론적으로, 본 연구는 자체 개발한 멀티모달 센싱 시스템을 통해 tcVNS가 사이버 멀미를 효과적으로 완화할 수 있는 비침습적 기술임을 확인하였으며, 나아가 멀미의 예방 및 억제를 위한 최적의 프로토콜로서 동시 자극의 중요성을 제시하였다.

목차 (Table of Contents)

• CHAPTER 1. Introduction 1
• 1.1. Introduction 1
• CHAPTER 2. Experimental Information 5
• 2.1. Participants 5
• 2.2. Experimental environment 5
• 2.3. Measurement and electrical stimulation system 8
• 2.3.1. Measurement and electrical stimulation device 8
• 2.3.2. Electrical stimulation (tcVNS) 12
• 2.4. Biosignal measurement and analysis methods 13
• 2.4.1. EEG 13
• 2.4.2. fNIRS 15
• 2.5. Subjective evaluation of motion sickness 18
• 2.5.1. FMS 18
• 2.5.2. SSQ 18
• 2.6. Experimental procedure and protocol 21
• CHAPTER 3. Experimental Results 25
• 3.1. Result of subjective evaluating motion sickness 25
• 3.1.1. FMS 25
• 3.1.2. SSQ 26
• 3.2. EEG results 33
• 3.2.1. EEG PSD analysis 33
• 3.2.2. EEG changes in the CS section 34
• 3.3. fNIRS results 44
• 3.3.1. Correlation analysis between FMS and ∆HbO according to the stimulation condition 44
• 3.3.2. Changes in ∆HbO and ∆HbR according to the experimental condition over time 46
• CHAPTER 4. Conclusion 54
• REFERENCE 56
• ABSTRACT (KOREAN) 60