A Reinforcement Learning-Driven Adaptive Multimodal Framework for Personalized Emotion Recognition in Mental Health Monitoring

다국어 초록 (Multilingual Abstract)

Mental diseases are becoming an increasing issue in the world, and it is necessary to have consistent, strong, and non-invasive methods of monitoring the emotional state. Traditional evaluation procedures tend to be subjective, episodic and self-reported, which restricts their efficacy in long-term mental health assistance. The current development of artificial intelligence （AI） has enabled the development of automated emotion recognition systems, but most methods lack robustness because they rely on a single modality, do not personalise to an individual, and cannot adapt to changing emotional patterns. These constraints limit their usage to real-world mental health monitoring settings. The proposed thesis is a flexible and lean multimodal deep learning model of emotion-sensitive mental health monitoring that combines facial expression recognition and speech-based emotion recognition. The multimodal design is based on the complementary relationship between the visual and acoustic signals, where the facial expression can give rich spatial information and the speech can give time and prosody-related emotional qualities. The acquisition of discriminative spatial representations of faces is done through Convolutional Neural Networks （CNNs）, whereas the acquisition of time-varying relations in speech signals, including changes in pitch and intensity, is accomplished with the help of Long Short-term-memory （LSTM） networks. The characteristics of the two modalities are combined into a single emotional representation, less vulnerable to noise, modality one-sidedness, and data gaps.To facilitate personalization and long-term flexibility, the framework employs a reinforcement learning （RL）-based adaptive mechanism that dynamically adjusts modality contributions based on user-specific emotional patterns observed over time. It is a dynamic approach, which allows the system to adjust effectively to individual differences and incremental changes in emotion, which is critical in the long-term mental health monitoring. The proposed framework is evaluated by using common benchmark data of emotion recognition of faces and speech. The experimental findings indicate better performance than unimodal and non-adaptive baselines, with a maximum classification accuracy of 93\% and high precision and recall across most emotion categories. Moreover, there is a pragmatic concern like variation in the quality of data, cultural bias, and preservation of privacy that is explored to determine feasibility in the real world. Ethical considerations, such as the consent of the user and the responsible use of AI, are also highlighted to make sure that the system is more of a supportive monitoring tool than a diagnostic solution.

국문 초록 (Abstract)

정신 건강 문제는 전 세계적으로 주요 보건 문제로 부상하고 있으며, 감정 상태를 지속적이고 신뢰성 있게, 비침습적으로 모니터링할 수 있는 방법에 대한 필요성이 커지고 있다. 기존의 평가 방법은 주로 주관적이고 일회적이며 자기보고식 자료에 의존하기 때문에 장기적인 정신 건강 지원에 한계가 있다. 최근 인공지능（AI）의 발전으로 자동화된 감정 인식 시스템의 개발이 가능해졌으나, 기존 연구의 상당수는 단일 모달리티에 의존하고 개인화가 부족하며 변화하는 감정 패턴에 적응하지 못해 실제 환경에서 요구되는 강건성을 충분히 확보하지 못하고 있다. 이러한 한계는 실제 정신 건강 모니터링 환경에서의 활용 가능성을 제한한다.

본 논문에서는 얼굴 표정 인식과 음성 기반 감정 인식을 통합한 유연한 경량형 멀티모달 딥러닝 기반 감정 인식 프레임워크를 제안한다. 제안 프레임워크의 멀티모달 구조는 시각 신호와 음향 신호의 상호 보완적 특성에 기반한다. 얼굴 표정은 풍부한 공간 정보를 제공하고, 음성 신호는 시간적 변화와 운율적 감정 단서를 제공한다. 얼굴 영상으로부터 판별력 있는 공간 표현을 학습하기 위해 합성곱 신경망（Convolutional Neural Network, CNN）을 사용하며, 음성 신호에서 피치와 강도의 변화 등 시간적 의존성을 모델링하기 위해 장단기 기억（Long Short-Term Memory, LSTM） 네트워크를 활용한다. 두 모달리티에서 추출된 특징은 하나의 통합 감정 표현으로 융합되며, 이를 통해 잡음, 모달리티 불균형, 데이터 결측에 대한 강건성을 향상시킨다.
개인화와 장기적 적응성을 확보하기 위해, 본 프레임워크는 강화학습（Reinforcement Learning, RL） 기반 적응 메커니즘을 도입한다. 이 메커니즘은 시간에 따라 축적되는 사용자별 감정 패턴을 바탕으로 각 모달리티의 기여도를 동적으로 조정한다. 이러한 적응 전략은 개인 간 차이와 점진적인 감정 변화에 효과적으로 대응할 수 있도록 하며, 지속적인 정신 건강 모니터링에서 중요한 역할을 한다.

제안한 프레임워크는 얼굴 및 음성 감정 인식을 위한 대표적인 벤치마크 데이터셋을 사용하여 평가하였다. 실험 결과, 제안 프레임워크는 단일 모달 기반 모델 및 비적응형 기준 모델보다 우수한 성능을 보였으며, 최대 93\%의 분류 정확도와 대부분의 감정 범주에서 높은 정밀도（Precision） 및 재현율（Recall）을 달성하였다. 또한 실제 적용 가능성을 검토하기 위해 데이터 품질 변화, 문화적 편향, 개인정보 보호와 같은 실무적 쟁점을 함께 분석하였다. 더불어 사용자 동의와 책임 있는 AI 활용 등 윤리적 고려사항을 반영하여, 본 시스템이 진단을 대체하는 도구가 아니라 정신 건강 관리를 보조하는 모니터링 도구로 활용될 수 있음을 제시하였다.

목차 (Table of Contents)

• 1 Introduction 1
• 1.1 Motivation 1
• 1.2 Background and Theoretical Foundations 4
• 1.2.1 Psychological Models of Emotion 5
• 1.2.2 Dimensional Emotion Representation Models 6
• 1.3 Current Limitations of Emotion Recognition Systems 7
• 1.4 Role of Multimodal Learning and Adaptive AI 9
• 1.5 Problem Statement 10
• 1.6 Contributions and Objectives 11
• 1.7 Structure of the Thesis 12
• 2 Related Work 13
• 2.1 Unimodal Emotion Recognition Approaches 13
• 2.2 Speech Emotion Recognition: Traditional to Deep Models 14
• 2.3 Facial Emotion Recognition in the Wild 17
• 2.4 Multimodal Emotion Recognition and Fusion Paradigms 18
• 2.5 Attention Mechanisms in Multimodal ER 19
• 2.6 Transformer-Based Multimodal Emotion Recognition 19
• 2.7 Personalization and Reinforcement Learning in Emotion Recognition 20
• 2.8 Emotional Drift, Continual Learning, and Adaptation 20
• 2.9 Research Limitations and Challenges 21
• 2.9.1 Data Quality 21
• 2.9.2 Algorithmic Bias 22
• 2.9.3 Privacy Concerns 22
• 2.9.4 Contextual Understanding 23
• 2.9.5 Resource and Latency Constraints 23
• 2.9.6 Multimodal Fusion Complexity 24
• 2.10 Research Gap 24
• 3 Materials and Methods 26
• 3.1 Dataset Overview 26
• 3.2 Source of Data 27
• 3.2.1 FER-2013 Dataset 27
• 3.2.2 Extended Cohn-Kanade （CK+） Dataset 28
• 3.2.3 EMO-DB Dataset 29
• 3.3 Data Acquisition and Preprocessing 30
• 3.3.1 Facial Image Stream 31
• 3.3.1.1 Image Cropping 32
• 3.3.1.2 Histogram Equalization 33
• 3.3.1.3 Image Downsampling and Resizing 34
• 3.3.1.4 Image Normalization 34
• 3.3.2 Audio Stream 35
• 3.3.2.1 Pre-emphasis Filtering 36
• 3.3.2.2 Framing and Windowing 36
• 3.3.2.3 Fast Fourier Transform 37
• 3.3.2.4 Mel Filterbanks 37
• 3.3.2.5 MFCC Feature Extraction 38
• 3.3.2.6 Delta and Delta-Delta Features 39
• 3.3.2.7 Cepstral Mean Variance Normalization 39
• 3.4 Proposed Multimodal Emotion Recognition Architecture 40
• 3.5 Facial Expression Analysis Using CNN 43
• 3.6 Temporal Speech Modelling with LSTM 44
• 3.7 Adaptive Reinforcement Learning for Personalization 47
• 3.8 Multimodal Fusion and Emotion Classification 48
• 3.9 Hyperparameter Tuning 49
• 3.10 Edge-Optimized Deployment and Privacy Considerations 50
• 4 Experiments and Results 52
• 4.1 Experimental Setup 52
• 4.2 Evaluation Metrics 53
• 4.3 Model Architectures 55
• 4.4 Multimodal Fusion Strategy 55
• 4.5 Quantitative Results 56
• 4.6 Per-Emotion Performance 57
• 4.7 Ablation Study 60
• 4.8 Comparison with State-of-the-Art Models 62
• 5 Discussion 64
• 5.1 Contextual Cues and Real-World Applications 65
• 5.2 Managing Class Imbalance and Subtle Emotions 66
• 5.3 Handling Compound and Ambiguous Emotions 67
• 5.4 Cross-Modal Dynamics and Potential of Transformers 67
• 5.5 Dataset Diversity and Ethical Generalization 68
• 5.6 Comparison to Previous Research 69
• 5.7 Limitations and Future Refinements 70
• 5.8 System Performance and Generalization 71
• 5.9 Proposed Enhancements 72
• 5.10 Implications 74
• 6 Conclusion and Future Direction 76
• References 78