시선 추적 및 생체신호를 활용한 가상현실 영상 시청자 피로도 모니터링 연구 = atigue Monitoring of Virtual Reality Video Viewers Using Eye Tracking and Physiological Signals

다국어 초록 (Multilingual Abstract)

Virtual Reality (VR) technology has become an innovative tool that transforms user experiences, particularly providing highly immersive environments. However, if fatigue accumulates during VR use, users may experience a decrease in concentration, which can degrade the quality of the experience. This study aims to develop a system that can monitor and predict user fatigue in real-time within a VR environment. The system combines gaze tracking and biometric signal monitoring using a smartwatch, enabling the system to prompt users to take breaks before they feel fatigued through a notification system. In this study, we develop a real-time fatigue tracking system using gaze tracking technology and smartwatches in a VR environment. Gaze tracking monitors blink frequency, focus changes, and gaze duration, while the smartwatch tracks biometric signals such as heart rate, respiration rate, and activity level. Based on this data, a fatigue prediction model is trained to estimate the user's fatigue in real-time, prompting the user to take a break before fatigue sets in. The experiment collects both gaze tracking data and biometric signals from the smartwatch simultaneously while participants view VR content. Participants wear a VR headset and smartwatch, and self-reported fatigue levels before and after the experiment are recorded. The collected data is analyzed using the fatigue prediction model, and the notification system is activated to suggest a break when the fatigue level exceeds a certain threshold. Initial experimental results show that the fatigue prediction system combining gaze tracking and biometric signals from the smartwatch successfully tracked fatigue in real-time. By analyzing blink frequency and heart rate, the system accurately predicted user fatigue, and the break notification system functioned effectively in managing fatigue. However, it was found that the prediction accuracy needs improvement for some participants, and future research should focus on model training and improvement using a larger dataset. This study presents a system for real-time fatigue tracking and management within a VR environment. Through the fatigue monitoring system, users will be able to recognize and manage fatigue during prolonged VR content viewing. Future research will aim to further enhance the fatigue prediction model and improve the efficiency of fatigue management across various VR content and environments.

목차 (Table of Contents)

• I. 서론 1
• 1.1 연구 배경 및 목적 1
• 1.2 관련 연구 4
• 1.3 논문 개요 6
• Ⅱ. 이론적 배경 7
• 2.1 시선 추적의 한계 7
• 2.2 시선추적과 생체 신호의 결합 10
• 2.3 머신 러닝을 활용한 피로도 예측 12
• 2.4 LSTM 모델 아키텍처 및 적용 13
• 2.4.1 LSTM 정의 14
• 2.4.2 LSTM 성능 15
• 2.4.3 LSTM의 성능 평가 17
• 2.4.4 LSTM 선택의 이유 18
• Ⅲ. 연구 방법· 19
• 3.1 데이터 수집 및 구성 19
• 3.1.1 데이터 출처 및 특성 19
• 3.1.1.1 시선 추적 데이터 19
• 3.1.1.2 운동 생체 신호 데이터 21
• 3.1.1.3 데이터 통합 및 특성 22
• 3.1.1.4 데이터의 한계· 22
• 3.2 모델 개발 및 학습 과정· 23
• 3.2.1 시계열 피로도 측정을 위한 최적의 LSTM 모델 선정· 23
• 3.2.2.1 시선 추적 데이터 전처리 25
• 3.2.2.2 생체 신호 데이터 전처리 26
• 3.2.2.3 결측치 처리 26
• 3.2.2.4 시간 윈도우 적용· 27
• 3.2.2.5 성능 개선 전략 28
• 3.2.3 모델 구현 29
• 3.2.3.1 데이터 준비 29
• 3.2.3.2 모델 설계 30
• 3.2.3.3 모델 학습 31
• 3.3 시스템 설계 및 구현 33
• 3.3.1 피로도 실시간 모니터링 시스템 구축 33
• 3.3.2 피로도 예측을 위한 시계열 데이터 입력 34
• 3.3.3 피로도 예측 및 알림 시스템 35
• IV. 연구 결과· 36
• 4.1 모델 성능 평가 및 비교 분석 36
• 4.1.1 실험 결과 분석 36
• 4.2 개발 및 실험 환경 37
• 4.2.1 시계열 기반 LSTM 모델 성능 분석 38
• 4.2.2 정적 분석 기반 실험과의 비교 38
• 4.2.3 정적 분석과 연구와 본 연구의 실험 비교· 39
• 4.2.4 종합적 논의· 40
• V. 결론 및 향후 연구 42
• 5.1 결론 42
• 5.2 향후 연구 42
• 5.2.1 모델 성능 향상 43
• 5.2.2 실험 환경의 확장 43
• 5.2.3 알림 시스템 개선 43
• 5.2.4 실제 환경에서의 적용 43
• 참고문헌 44