Anomaly Detection을 이용한 e스포츠 주의 상태 모델 연구 = A Study on Esports Concentration State Modeling Using Anomaly Detection

다국어 초록 (Multilingual Abstract)

This study proposes an unsupervised anomaly detection framework utilizing multimodal biosignals from the MultiPENG dataset to identify attention-related anomalous patterns in esports players without explicit labels.
We processed EEG band power, eye-tracking, heart rate, and facial expression data into fixed-length time-series sequences and evaluated a Temporal Convolutional Network-based Variational Autoencoder (TCN-VAE) alongside its temporally regularized variant (TR-TCN-VAE).
Experimental results demonstrated that TR-TCN-VAE achieved stable reconstruction performance while improving the temporal smoothness of latent representations. Modal ablation analysis revealed that visual behavioral signals, specifically facial expressions, significantly dominated the learned representations, whereas the contributions of EEG and heart rate were limited, suggesting a need for enhanced preprocessing or architecture. Furthermore, a low correlation between the unsupervised anomaly scores and subjective self-reports highlighted the necessity for future validation using objective game logs.
This research establishes a foundational methodology for label-free attention modeling and quantitative modal analysis in the esports domain.

국문 초록 (Abstract)

e스포츠 선수의 경기 중 주의 상태 변화의 이상 징후를 레이블 없이 탐지·정량화하기 위해, 본 논문은 멀티모달 시계열 생체·행동 신호를 활용한 비지도 이상 탐지 프레임워크를 제안하고, 기준 모델과 시간 정규화 모델을 비교·분석하였다. 공개 데이터셋인 MultiPENG의 EEG(대역 파워), 시선, 심박, 얼굴 행동 데이터를 1초 단위의 고정 길이 시퀀스로 구성하였으며, 이를 학습하기 위해 인과적 TCN 인코더와 GRU 디코더를 결합한 TCN-VAE를 기준 모델로 설정하였다. 또한 시간 정규화(temporal regularization)를 추가하여 잠재 표현의 시간적 연속성을 유도하는 TR-TCN-VAE 모델을 설계하고, 두 모델을 비교·분석하였다.
실험 결과, 제안 모델인 TR-TCN-VAE는 재구성 성능을 거의 유지한 상태에서, 시간 정규화 계수(𝜆) 설정에 따라 잠재 시퀀스의 시간적 연속성이 일부 강화되는 경향을 보였다. 특히 모달 마스크 아블레이션에서 얼굴 행동(OpenFace) 제거 시 성능 저하가 가장 크게 나타나, 현 구조가 시각적 행동 신호에 상대적으로 더 민감함을 확인하였다. 뇌전도(EEG)와 심박(HR) 신호의 영향력은 제한적으로 나타나 데이터 품질 및 모델 구조의 개선 필요성을 시사하였다. 또한, 모델이 산출한 이상 점수와 자기보고 설문 간의 상관관계가 낮게 나타남에 따라, 향후 연구에서는 게임 로그 등 객관적 지표를 활용한 타당성 검증이 요구됨을 확인하였다.
본 논문은 e스포츠 맥락에서 레이블 없는 멀티모달 시계열 데이터를 활용해 이상 징후를 탐지하고, 모달별 기여도와 주관적 평가 간의 관계를 정량적으로 분석했다는 데 의의가 있다.

목차 (Table of Contents)

• 그림목차 ii
• 표목차 iii
• 국문초록 vi
• 제 1 장 서론 1
• 제 1 절 연구의 배경 및 필요성 1
• 제 2 절 연구의 목적 및 목표 3
• 제 3 절 평가 지표 선정 근거 4
• 제 4 절 연구의 구성 5
• 제 2 장 선행 연구 6
• 제 1 절 비지도 이상 탐지 기법 연구 6
• 제 2 절 멀티모달 생체·행동 신호 기반 분석 연구 7
• 제 3 절 주의 상태 예측 및 시계열 모델링 연구 7
• 제 3 장 연구방법 및 모델 설계 10
• 제 1 절 데이터셋 및 실험 환경 10
• 제 2 절 데이터 전처리 및 특성 추출 11
• 제 3 절 모델 구조 설계 15
• 제 4 절 평가 지표 정의 17
• 제 4 장 실험 결과 및 분석 19
• 제 1 절 실험 설계 19
• 제 2 절 재구성 기반 비교 결과 23
• 제 3 절 잠재 공간 기반 비교 결과 24
• 제 4 절 모달 기여 분석 25
• 제 5 절 외부 지표 기반 정량 평가 26
• 제 5 장 결론 및 향후 연구 32
• 제 1 절 결론 32
• 제 2 절 향후 연구 33
• 참고문헌 35
• Abstract 38