Emotion Recognition from Speech via Dual Attention and Emotion Induction through Color in Virtual Reality

다국어 초록 (Multilingual Abstract)

Affective computing research in Virtual Reality (VR) seeks to develop intelligent systems to identify, understand, and react to human emotions in immersive and interactive Virtual Environment (VE). Various researchers have used facial expressions to classify emotions in VR. However, several challenges are associated with emotion recognition from the face, such as the VR device hiding half of the face, and a secondary camera is needed to capture the lower face. Therefore, in this study, we developed an innovative system that consists of two parts: a Virtual Plant Shop (VPS) application and a Dual-Attention Emotion Recognition Network (DER-Net). The proposed DER-Net framework leverages audio signals for human emotion recognition and consists of two main phases. In the first phase, the raw audio signals are converted into a visual representation via Mel-Spectrogram (MS). These MSs are then enhanced through filtering and normalization to ensure high-quality input data for training. The second phase used these refined features for DER-Net training and validation. The DER-Net incorporates an optimized EfficientNetV2B2 architecture as a backbone for feature extraction, followed by Spatial Attention (SA) and Channel Attention (CA) modules to further emphasize critical discriminative features while suppressing irrelevant noise. Additionally, we evaluated the DER-Net against various state-of-the-art (SOTA) methods over benchmarks, where our proposed network consistently outperformed SOTA. Moreover, we utilized the model within VPS to recognize the subject’s emotions in real-time and to regulate their emotional state from negativity toward positivity through colors.

국문 초록 (Abstract)

가상현실(VR)에서의 감성 컴퓨팅 연구는 몰입형 상호작용 가상 환경에서 인간의 감정을 식별, 이해, 반응할 수 있는 지능형 시스템을 개발하는 것을 목표로 합니다. 여러 연구자들이 VR에서 감정을 분류하기 위해 얼굴 표정을 사용해 왔습니다. 하지만 얼굴에서 감정을 인식하는 데는 VR 장치가 얼굴의 절반을 가리고, 하부 얼굴을 촬영하기 위해 보조 카메라가 필요한 등 여러 어려움이 있습니다. 따라서 본 연구에서는 가상 식물 작업장(VPS) 애플리케이션과 이중 주의 감정 인식 네트워크(DER-Net) 두 부분으로 구성된 혁신적인 시스템을 개발했습니다. 제안된 DER-Net 프레임워크는 인간의 감정 인식을 위해 오디오 신호를 활용하며 두 가지 주요 단계로 구성됩니다. 첫 번째 단계에서는 원시 오디오 신호가 멜 스펙트로그램(MS)을 통해 시각적 표현으로 변환됩니다. 이 MS들은 필터링과 정규화를 통해 향상되어 학습에 필요한 고품질 입력 데이터를 보장합니다. 두 번째 단계는 이러한 정제된 기능을 DER-Net 훈련 및 검증에 활용했습니다. DER-Net은 특징 추출을 위한 백본으로 최적화된 EfficientNetV2B2 아키텍처를 통합하고, 이어서 공간적 주의(SA) 및 채널 주의(CA) 모듈을 통해 중요한 식별 특징을 강조하고 무관한 잡음을 억제합니다. 또한, 우리는 다양한 최첨단(SOTA) 방법과 비교해 DER-Net을 벤치마크에서 평가했으며, 제안된 네트워크가 SOTA보다 지속적으로 우수한 성능을 보였습니다. 더불어, VPS 내의 모델을 활용해 피험자의 감정을 실시간으로 인식하고, 색상을 통해 부정적인 감정에서 긍정적인 감정 상태로 조절했습니다.

목차 (Table of Contents)

• ABSTRACT i
• LIST OF FIGURES vi
• LIST OF TABLES vii
• CHAPTER 1 Introduction 1
• 1.1 Overview 1
• 1.2 Main Challenges 4
• 1.3 Problem Statement and Proposed Solutions 4
• 1.4 Thesis Organization 6
• CHAPTER 2 Literature Review 8
• 2.1 Overview 8
• 2.2 Emotion Detection via TML and DL 8
• 2.3 Emotion Detection in VR 10
• CHAPTER 3 METHODOLOGY AND PROPOSED FRAMEWORK 12
• 3.1 Overview 12
• 3.2 Data Preprocessing and Augmentation 13
• 3.3 Feature Extractor 14
• 3.4 Attention Mechanism 16
• 3.4.1 Channel Attention (CA) 17
• 3.4.2 Spatial Attention (SA) 18
• 3.5 DER-Net Architecture 20
• 3.6 Creation of an immersive VE 21
• 3.6.1 Stimuli 22
• 3.6.2 Participant and Experimentation: 23
• CHAPTER 4 Experimental Results and Discussion 25
• 4.1 Overview 25
• 4.2 Speech Emotion Datasets 26
• 4.2.1 IEMOCAP Dataset 26
• 4.2.2 CREMA-D Dataset 26
• 4.2.3 SAVEE Dataset 26
• 4.2.4 TESS and RAVDESS Datasets 27
• 4.3 Quantitative Analysis 28
• 4.3.1 Model Performance on the IEMOCAP Dataset 28
• 4.3.2 Model Performance on CREMA-D 29
• 4.3.3 Combined Dataset 31
• 4.4 Comparative Analysis with Baseline 33
• 4.5 Ablation Study 37
• 4.6 Statistical Analysis of Feedback 38
• 4.6.1 Pre and Post Analysis 38
• 4.6.2 Effectiveness of the VPS 39
• 4.6.3 Color and VC Impact on Emotions 40
• 4.6.4 Overall Agreement 42
• 4.6.5 Future Intention and Visual Results 43
• CHAPTER 5 Conclusions and Future Directions 44
• 5.1 Conclusion 44
• 5.2 Future Direction 45
• BIBLIOGRAPHY 47
• 국문초록 55
• ACKNOWLEDGMENTS 57