End-to-End Multimodal Mental Workload Classification via On-the-Fly Scalogram Generation and Mixture-of-Experts Gating

다국어 초록 (Multilingual Abstract)

The demand for accurate mental workload (MW) monitoring and classification has intensified, particularly in high-stakes domains such as aerospace and healthcare. Traditional MW classification methods often rely on hand-crafted features and single-modality inputs or static fusion techniques, which offer limited accuracy and fail to fully leverage cross-sensor complementarity. Recent multimodal fusion methods—such as attention-based weighting, averaging, or majority voting—struggle to assess the relative informativeness of each modality, particularly when sensor reliability varies. To address these limitations, we propose CogniMoE, an end-to-end multimodal framework that learns directly from raw physiological signals. It introduces three key innovations: on-the-fly scalogram generation using FP16 arithmetic, which eliminates pre-computation and significantly reduces memory and processing overhead; parallel CNN-LSTM branches for each modality, incorporating attention mechanisms and dynamic dropout to extract robust spatiotemporal features; and a Mixture of Experts (MoE) gating network that adaptively fuses modalities based on real-time informativeness, maintaining performance even when a modality degrades. Trained in a subject-independent manner on diverse participants, CogniMoE demonstrates strong generalizability and scalability. Evaluations on the MAUS and CLAS datasets show that it outperforms both traditional and recent state-of-the-art approaches, achieving accuracies of 94% and 92%, respectively. Moreover, on-the-fly scalogram generation reduces memory usage and processing time by an order of magnitude, providing a lightweight and efficient solution. The MoE gating mechanism further boosts classification performance by approximately 5% on average over non-adaptive fusion strategies by dynamically adjusting modality importance based on individual participant characteristics.

국문 초록 (Abstract)

정신 작업 부하(MW)의 정확한 모니터링 및 분류에 대한 수요가 특히 항공우주와 의료와 같은 고위험 분야에서 크게 증가하고 있습니다. 기 존의 MW 분류 방법은 수작업으로 추출된 특징과 단일 모달리티 입력 또는 정적 융합 기법에 의존하며, 이는 정확도가 제한적이고 센서 간 상호 보완적 정보를 충분히 활용하지 못합니다. 최근의 다중모달 융합 기법—예를 들어, 주의 기반 가중치 부여, 평균화, 다수결 투표 등—은 센서 신뢰도가 변동할 때 각 모달리티의 상대적 정보 가치를 평가하는 데 어려움을 겪고 있습니다. 이러한 한계를 극복하기 위해, 우리는 원시 생리 신호로부터 직접 학습 하는 종단간(end-to-end) 다중모달 프레임워크인 CogniMoE를 제안합 니다. CogniMoE는 세 가지 주요 혁신을 도입합니다: FP16 연산을 활 용한 실시간 스칼로그램(on-the-fly scalogram) 생성은 사전 연산을 제 거하고 메모리 및 처리 오버헤드를 크게 줄입니다; 각 모달리티에 대 해 병렬적으로 구성된 CNN-LSTM 분기는 주의 메커니즘과 동적 드 롭아웃을 통합하여 강건한 시공간 특징을 추출합니다; 그리고 전문가 혼합(MoE) 게이팅 네트워크는 실시간 정보성에 기반하여 모달리티를 적응적으로 융합하며, 특정 모달리티의 품질이 저하되더라도 성능을 유 지합니다. 다양한 피험자를 대상으로 피험자 독립적 (subject-independent) 방식으로 학습된 CogniMoE는 높은 일반화 성능 과 확장성을 입증하였습니다. MAUS 및 CLAS 데이터셋을 활용한 평 가에서 CogniMoE는 전통적 방법과 최근의 최첨단 접근법을 모두 능 가하며, 각각 94%와 92%의 정확도를 달성하였습니다. 또한, 실시간 스 칼로그램 생성은 메모리 사용량과 처리 시간을 한 자릿수 수준으로 줄 여 경량화되고 효율적인 솔루션을 제공합니다. MoE 게이팅 메커니즘 은 개별 피험자의 특성에 따라 모달리티 중요도를 동적으로 조정함으 로써 비적응형 융합 전략 대비 평균 약 5% 향상된 분류 성능을 제공 합니다.

목차 (Table of Contents)

• Acknowledgementvi
• 국문초록 vii
• Abstract ix
• I. Introduction 1
• 1.1. Background 1
• 1.2. Motivation 4
• 1.3. Objectives 7
• 1.4. Thesis Organization 8
• II. Literature Review 9
• 2.1. Physiological Signals and Classical Methods 9
• 2.2. Multimodal Fusion and Scalogram-Based Approaches 10
• III. System Architecture 13
• 3.1. Multimodal Physiological Input Data 14
• 3.2. Data Pre-processing and Segmentation 15
• 3.3. On-the-Fly Scalogram Generation 17
• 3.4. CNN-LSTM Experts for each Modality 22
• 3.5. MoE Gating Network 25
• IV. Dataset and Experiments 29
• 4.1. Datasets 29
• 4.2. Hyperparameter Tuning 31
• 4.3. Baseline and SOTA Models 33
• 4.4. Performance Metrics and Evaluation Methodology 36
• V. Experimental Results 37
• 5.1. Standard Metrics for Baselines and CogniMoE 37
• 5.2. MoE Gating Network Analysis 40
• 5.3. Ablation Study 43
• 5.4. Time & Memory Analysis 49
• VI. Conclusion and Future Work 51
• VII. References 52