Optimizing Mental Workload Detection in N-back Tasks using Physiological Signals with Empirical Mode Decomposition Feature Extraction and Explainable AI: A Machine Learning & CNN-Based Approach

다국어 초록 (Multilingual Abstract)

In contemporary society, mental workload also referred to as stress has evolved into a ubiquitous issue affecting individuals across various domains of life, requiring precise identification and practical solutions. Recent technological advancements and data analytics have opened avenues for innovative approaches to stress detection, with a notable focus on utilizing physiological signals such as Electrocardiogram (ECG) and Photoplethysmography (PPG). Furthermore, monitoring mental workload (MW) has emerged as a critical necessity in numerous contexts, including safety measures and smart technology applications like driver awareness and Brain-Computer Interfacing (BCI). MW assessment offers insights into operator processing capabilities and subjective psychological experiences, crucial for minimizing errors and preventing "overload" conditions. Physiological signals, including ECG and PPG serve as valuable indicators for MW assessment. Most prior studies have focused on identifying stress via physiological signals. Several studies have used multiple physiological signals such as electrocardiogram (ECG), electroencephalogram (EEG), galvanic skin response (GSR), electromyogram (EMG), and arterial blood pressure (ABP) to identify stress, either in binary form (stress/no stress) or across multiple levels (e.g., low, moderate, and high). The low cost of sensors has permitted the development of commercial wearable devices that monitor and record a variety of physiological signals, including photoplethysmography (PPG), and electrocardiography (ECG). The MAUS database makes a significant contribution to meeting the demand for reliable datasets for MW evaluation. This dataset comprises various physiological signals, including single-lead ECG, GSR, fingertip PPG, and wristband PPG, collected under varying MW conditions induced through the Nback task. The N-back task provides a reliable, objective reference for MW assessment, with stimuli intensity correlating to MW levels. In our study, we have utilized ECG and PPG signals due to their established role as reliable physiological stress indicators. Integrating physiological signal processing technique, known as Empirical Mode Decomposition (EMD) for feature extraction, further enhances the understanding of stress responses. EMD facilitates extracting relevant features corresponding to stress-related components, enabling a comprehensive characterization of physiological responses. Machine learning classifiers and CNN use dataset to accurately distinguish between stress and non-stress conditions, allowing real-time monitoring and intervention. To improve the interpretability of stress detection algorithms, Shapley Additive explanations (SHAP) analysis provides insights into the contribution of individual features, enabling actionable insights from underlying physiological data. We opted for these signals for their ability to offer a comprehensive understanding of stress-related physiological changes.

국문 초록 (Abstract)

현대 사회에서 정신적 작업 부하(스트레스)는 다양한 삶의 영역에서 사 람들에게 영향을 미치는 보편적인 문제로 발전하였으며, 정확한 식별과 실질적인 해결책이 필요합니다. 최근 기술 발전과 데이터 분석은 스트레 스 감지를 위한 혁신적인 접근 방식을 가능하게 했으며, 특히 심전도 (ECG) 및 광용적맥파(PPG)와 같은 생리학적 신호를 활용하는 것에 초 점을 맞추고 있습니다. 또한, 정신적 작업 부하(MW) 모니터링은 안전 조치 및 운전자 인식, 뇌-컴퓨터 인터페이싱(BCI)과 같은 스마트 기술 응용 분야에서 중요한 필요로 부상하였습니다. MW 평가는 작업자의 처 리 능력과 주관적인 심리적 경험에 대한 통찰력을 제공하며, 오류를 최 소화하고 과부하 상태를 방지하는 데 필수적입니다. 심전도(ECG) 및 광 용적맥파(PPG)와 같은 생리학적 신호는 MW 평가를 위한 중요한 지표 로 사용됩니다. 대부분의 이전 연구는 생리학적 신호를 통해 스트레스를 식별하는 데 중점을 두었습니다. 여러 연구에서 심전도(ECG), 뇌파(EEG), 피부 전 도(GSR), 근전도(EMG), 동맥혈압(ABP)과 같은 다양한 생리학적 신호 를 사용하여 스트레스를 이진 형식(스트레스/비스트레스) 또는 여러 수 준(예: 낮음, 중간, 높음)으로 식별하였습니다. 센서의 저렴한 비용 덕분 에 광용적맥파(PPG)와 심전도(ECG)를 포함한 다양한 생리학적 신호를 모니터링하고 기록하는 상용 웨어러블 장치의 개발이 가능해졌습니다. MAUS 데이터베이스는 MW 평가를 위한 신뢰할 수 있는 데이터셋에 대한 수요를 충족하는 데 중요한 기여를 하고 있습니다. 이 데이터셋은 N-back 작업을 통해 유도된 다양한 MW 조건에서 수집된 단일 리드 ECG, GSR, 손가락 PPG 및 손목 PPG를 포함한 다양한 생리학적 신호 로 구성되어 있습니다. N-back 작업은 MW 수준과 상관관계가 있는 자극 강도를 통해 MW 평가를 위한 신뢰할 수 있는 객관적 기준을 제 공합니다. 본 연구에서는 스트레스의 신뢰할 수 있는 생리학적 지표로 잘 알려진 ECG와 PPG 신호를 사용하였습니다. 생리학적 신호 처리 기술인 경험적 모드 분해(EMD)를 활용한 특징 추 출은 스트레스 반응에 대한 이해를 더욱 증진시킵니다. EMD는 스트레 스와 관련된 요소에 해당하는 관련 특징을 추출하여 생리학적 반응을 포괄적으로 설명할 수 있게 합니다. 머신러닝 분류기와 CNN을 사용하 여 스트레스와 비스트레스 상태를 정확하게 구분함으로써 실시간 모니 터링과 개입이 가능하게 합니다. 또한, 스트레스 감지 알고리즘의 해석 가능성을 향상시키기 위해 Shapley Additive 설명(SHAP) 분석을 사용 하여 개별 특징의 기여도를 이해하고, 기저 생리학적 데이터로부터 실 행 가능한 통찰력을 제공합니다. 이러한 신호들은 스트레스와 관련된 생리학적 변화를 포괄적으로 이해하는 데 기여하기 때문에 선택되었습 니다.

목차 (Table of Contents)

• Ⅰ. Introduction
• 1. Introduction
• 2. Background
• 3. Motivation
• 4. Objectives
• 5. Thesis Organization
• Ⅱ. Related Works
• III. Methods and Materials
• 1. MAUS Dataset
• 2. Technologies Used for Stress Detection
• 2.1. Empirical Mode Decomposition
• 2.2. Intrinsic Mode Function
• 2.3. SHapley Additive exPlanations
• 3. Methodology
• 3.1. Stress detection using Machine Learning Classifiers
• 3.1.1. ECG and fingertip- PPG signal as Unimodal data
• 3.1.2. ECG and fingertip- PPG signal as Multimodal data
• 3.2. Stress Detection using 1D- CNN
• 3.2.1. ECG and fingertip- PPG signal as Unimodal data
• 3.2.2. ECG and fingertip- PPG signal as Multimodal data
• IV. Results
• 1. Results for Classifiers
• 2. Results for 1D- CNN
• 3. Results for SHAP Analysis for Random Forest
• V. Performance & Evaluation
• VI. Conclusion and Future Work
• VII. References