Modeling Human Affect with Language Models: From Sentiment Analysis to Empathetic Dialogue Generation = 언어 모델을 활용한 인간 정서 모델링: 감성 분석에서 공감형 대화 생성까지

다국어 초록 (Multilingual Abstract)

Recent advances in natural language processing have opened new possibilities for machines to understand and respond to human affect. As artificial intelligence systems become increasingly integrated into daily human activities, the ability to recognize, interpret, and appropriately react to users' affective states has emerged as a critical capability for creating natural and effective human-computer interactions. Affective computing addresses this need by developing computational methods that bridge the gap between human emotional expression and machine understanding. This field encompasses two complementary directions: affective understanding and affective generation. Affective understanding focuses on recognizing and interpreting human emotions from text and other modalities, while affective generation involves producing emotionally appropriate responses.

In this dissertation, we propose computational approaches to modeling human affect with language models, encompassing both affective understanding and affective generation. By investigating sentiment analysis and empathetic dialogue generation, we address key challenges at each stage of affective computing.

In the first study, we address the challenge of textual affective understanding in data-scarce settings. We propose a sentiment lexicon-integrated meta-training framework that optimizes pre-trained language models for few-shot sentiment analysis. This study demonstrates that language models can effectively learn to interpret textual sentiment without heavy reliance on large-scale datasets.

The second study advances from textual affective understanding to multimodal affective understanding, specifically addressing the issue of visual noise and modality misalignment in multimodal sentiment analysis. We propose a confidence-guided dual-adapter fusion framework that dynamically integrates the predictions from different views based on model confidence. This study emphasizes the importance of selective perception in multimodal affective understanding.

The third study expands the scope from affective understanding to affective generation, addressing the challenge of producing empathetic responses that go beyond surface-level empathy. We propose a simulation framework based on Motivational Interviewing (MI) theory, resulting in the construction of a synthetic dataset of MI dialogues. By grounding dialogue generation in established counseling principles, this study explores how language models can generate structured and procedurally coherent empathetic interactions.

Taken together, these three studies constitute a comprehensive investigation into how language models can be designed to model human affect more reliably and meaningfully across diverse settings. This dissertation presents novel frameworks that bridge recent advances in language modeling with the requirements of real-world affective applications, contributing to the development of more capable and practical affective computing systems.

국문 초록 (Abstract)

자연어 처리 기술의 급격한 발전은 기계가 인간의 정서를 이해하고 이에 반응할 수 있는 새로운 가능성을 열어주었다. 인공지능 시스템이 일상생활에 깊이 통합됨에 따라, 사용자의 정서 상태를 인식 및 해석하고 적절히 반응하는 능력은 자연스럽고 효과적인 인간-컴퓨터 상호작용을 위한 필수적인 요소로 부상했다. 감성 컴퓨팅(Affective Computing)은 인간의 감정 표현과 기계의 이해 사이의 간극을 좁히는 계산적 방법을 개발함으로써 이러한 요구를 해결한다. 이 분야는 텍스트 및 다양한 양식(Modality)으로부터 인간의 감정을 인식하고 해석하는 감성 이해(Affective Understanding)와 감정적으로 적절한 반응을 산출하는 감성 생성(Affective Generation)이라는 두 가지 상호 보완적인 방향을 포괄한다.

본 학위 논문에서는 감성 이해와 생성을 모두 아우르며, 언어 모델을 활용하여 인간의 정서를 모델링하는 계산적 접근 방법을 제안한다. 감성 분석과 공감적 대화 생성을 연구함으로써 감성 컴퓨팅의 각 단계에서 발생하는 핵심적인 난제들을 해결하고자 한다.

첫 번째 연구에서는 레이블 데이터가 부족한 환경에서의 텍스트 감성 이해 문제를 다룬다. 이를 위해 사전 학습된 언어 모델을 소수 샷(Few-Shot) 감성 분석에 최적화하는 `감성 어휘 통합 메타학습 프레임워크'를 제안한다. 이 연구는 대규모 데이터셋에 크게 의존하지 않고도 언어 모델이 텍스트의 감성을 효과적으로 학습할 수 있음을 입증한다.

두 번째 연구는 텍스트 감성 이해에서 멀티모달 감성 이해로 확장하며, 특히 멀티모달 감성 분석에서 발생하는 시각적 노이즈와 양식 간 불일치 문제를 해결한다. 모델의 신뢰도(Confidence)에 기반하여 서로 다른 뷰(View)의 예측을 동적으로 통합하는 `신뢰도 기반 듀얼 어댑터 융합 프레임워크'를 제안한다. 이 연구는 멀티모달 감성 이해에 있어 선택적 인지의 중요성을 강조한다.

세 번째 연구는 감성 이해에서 감성 생성으로 범위를 확장하여, 표면적인 공감을 넘어선 실질적인 공감 반응을 생성하는 문제를 다룬다. 동기강화상담(Motivational Interviewing, MI) 이론에 기반한 시뮬레이션 프레임워크를 제안하고, 이를 통해 MI 대화 합성 데이터셋을 구축하였다. 대화 생성을 확립된 상담 원리에 근거하게 함으로써, 본 연구는 언어 모델이 구조적이고 절차적으로 일관된 공감 상호작용을 생성하는 방법을 탐구한다.

종합적으로, 본 논문의 세 가지 연구는 다양한 환경에서 언어 모델이 인간의 정서를 보다 신뢰성 있고 의미 있게 모델링하도록 설계하는 방법에 대한 포괄적인 탐구를 구성한다. 본 논문은 언어 모델링의 최신 기술과 실제 감성 애플리케이션의 요구사항을 연결하는 새로운 프레임워크들을 제시함으로써, 보다 유능하고 실용적인 감성 컴퓨팅 시스템의 발전에 기여한다.

목차 (Table of Contents)

• Abstract i
• Contents iv
• List of Tables viii
• List of Figures xii
• Chapter 1 Introduction 1
• 1.1 Background and Motivation 1
• 1.2 Challenges and Contributions 3
• 1.3 Organization of the Dissertation 6
• Chapter 2 Literature Review 8
• 2.1 Language Models for Affective Computing 8
• 2.2 Textual Affective Understanding 10
• 2.2.1 Sentiment-Aware Language Models 10
• 2.2.2 Meta-Learning 11
• 2.3 Multimodal Affective Understanding 16
• 2.3.1 Multimodal Aspect-Based Sentiment Analysis 16
• 2.3.2 Model Confidence 17
• 2.4 Empathetic Dialogue Generation 19
• 2.4.1 Synthetic Dialogue Generation 19
• 2.4.2 Motivational Interviewing 20
• Chapter 3 Sentiment Lexicon-Integrated Meta-Training for Few-Shot Sentiment Analysis 22
• 3.1 Background 22
• 3.2 Proposed Method 25
• 3.2.1 Input Preprocessing 25
• 3.2.2 Task Generation 27
• 3.2.3 Meta-Training 30
• 3.3 Experiments 34
• 3.3.1 Model Initialization 34
• 3.3.2 Evaluation Framework 34
• 3.3.3 Datasets 35
• 3.3.4 Baseline Models 35
• 3.3.5 Experiment Settings 36
• 3.4 Results 39
• 3.4.1 Performance in Cold Start Setting 39
• 3.4.2 Performance in Warm Start Setting 40
• 3.4.3 Effect of Sentiment Lexicon 44
• 3.4.4 Effect of Sentiment Intensity 45
• 3.4.5 Effect of N-gram Choice 46
• 3.4.6 Effect of Number of Tasks 47
• 3.4.7 Effect of Number of Epochs 48
• 3.4.8 Error Analysis 49
• 3.5 Summary 50
• Chapter 4 Confidence-Guided Dual-Adapter Fusion for Multimodal Sentiment Analysis 51
• 4.1 Background 51
• 4.2 Proposed Method 53
• 4.2.1 Dual-View Training 55
• 4.2.2 Dual-View Inference 57
• 4.2.3 Confidence Calibration 58
• 4.2.4 Meta-Feature Construction 59
• 4.2.5 Meta-Fusion 61
• 4.3 Experiments 62
• 4.3.1 Datasets 62
• 4.3.2 Implementation Details 63
• 4.3.3 Evaluation Metrics 63
• 4.3.4 Baselines 63
• 4.4 Results 65
• 4.4.1 Main Results 65
• 4.4.2 Effect of Confidence Calibration 67
• 4.4.3 Effect of Meta-Features 68
• 4.4.4 Effect of Backbone Model 70
• 4.4.5 Case Study 72
• 4.5 Summary 73
• Chapter 5 Motivational Interviewing-Grounded Simulation for Empathetic Dialogue Generation 75
• 5.1 Background 75
• 5.2 Proposed Method 79
• 5.2.1 Context Data 79
• 5.2.2 MI Simulation Framework 83
• 5.2.3 Therapist Simulator 83
• 5.2.4 Client Simulator 90
• 5.3 Results 94
• 5.3.1 Dataset Statistics and Examples 94
• 5.3.2 Evaluation Framework 98
• 5.3.3 Evaluation of Dataset 100
• 5.3.4 Evaluation of Dialogue Model 103
• 5.3.5 Error Analysis 105
• 5.4 Summary 109
• Chapter 6 Conclusion 110
• 6.1 Contributions 110
• 6.2 Future Work 111
• Bibliography 113
• 국문초록 150