A Three-Stage Augmentation Framework for Aligning Synthetic and Real Dialogues = 합성 대화와 실제 대화 정렬을 위한 3단계 데이터 증강 기법

다국어 초록 (Multilingual Abstract)

Synthetic dialogues generated by large language models (LLMs) differ from real dialogues in linguistic attributes such as naturalness or sentence completeness.
To bridge this gap, we propose AlignedAug, a framework for realistic dialogue augmentation. AlignedAug consists of three stages:
(1) Cognition-aware Dialogue Generation, which generates utterances using a LLM-based model; (2) Chat Style Refinement, which simulates informal, chat-like responses by randomly deleting words except for subjects, verbs, and negations; and (3) Statistical Selection, which selects dialogues whose naturalness and coherence scores are aligned with scores of real dialogues.
Experimental results show that the Chat Style Refinement and Statistical Selection stages significantly reduce the gap between synthetic and real dialogues. On the CollabChat dataset, the $S_{KS}$ score decreases from 0.95 to 0.35. AlignedAug also outperforms existing LLM-based dialogue augmentation methods on classification and response selection tasks. On the CollabChat dataset, classification accuracy improves from 0.65 to 0.69, and R@5 in the response selection task increases from 0.77 to 0.84.
These findings demonstrate that AlignedAug provides synthetic data that not only augments dialogues which align real dialogues more closely but also improves the performance of models trained on aligned dialogues.

국문 초록 (Abstract)

대규모 언어 모델 (LLMs)이 생성한 합성 대화는 자연스러움이나 문장 완결성과 같은 언어적 특성 측면에서 실제 대화와 차이를 보인다. 이러한 격차를 줄이기 위해 본 논문에서는 현실적인 대화 증강을 위한 프레임워크인 AlignedAug를 제안한다. AlignedAug는 세 단계로 구성된다.
(1) Cognition-aware Dialogue Generation 단계에서는 LLM 기반 모델을 활용하여 발화를 생성한다.
(2) Chat Style Refinement 단계에서는 주어, 동사, 부정 표현을 제외한 단어들을 무작위로 삭제함으로써 비격식적이고 채팅에 가까운 응답을 모사한다.
(3) Statistical Selection 단계에서는 대화 품질 평가 지표인 naturalness과 coherence 점수가 실제 대화의 분포와 정렬되도록 대화를 선별한다.
실험 결과, AlignedAug의 Chat Style Refinement 및 Statistical Selection 단계는 합성 대화와 실제 대화 간의 격차를 유의미하게 감소시키는 것으로 나타났다. CollabChat 데이터셋의 경우, $S_{KS}$가 0.95에서 0.35로 감소했다. 또한 AlignedAug는 기존의 LLM 기반 대화 증강 방법들보다 분류 및 응답 선택 과제에서 더 우수한 성능을 보였다. CollabChat 데이터셋의 경우, 분류 정확도는 0.65에서 0.69로 향상되었고, 응답 선택 태스크에서 R@5는 0.77에서 0.84로 향상되었다.
이러한 결과는 AlignedAug가 실제 대화와 보다 정합적인 합성 데이터를 제공할 뿐만 아니라, 정렬된 대화 데이터를 활용해 학습한 모델의 성능 향상에도 효과적임을 보여준다.

목차 (Table of Contents)

• Abstract 1
• Chapter 1 Introduction 7
• 1.1 Background and Problem Statement 7
• 1.2 LLM-based Dialogue Naturalness and Coherence Scores 9
• 1.3 Proposed Framework: AlignedAug (AA) 10
• 1.4 Main Contributions 11
• 1.5 Thesis Organization 11
• Chapter 2 Related Work 12
• 2.1 Data Scarcity in Learning-based Systems 12
• 2.2 Dialogue Data Expansion Approaches 13
• 2.2.1 Dialogue Generation 13
• 2.2.2 Dialogue Augmentation 16
• 2.3 Distribution Alignment for LLM-based Augmentation 19
• Chapter 3 AlignedAug (AA) Framework 21
• 3.1 Stage 1: Cognition-aware Dialogue Generation 23
• 3.2 Stage 2: Chat Style Refinement 25
• 3.3 Stage 3: Statistical Selection 26
• 3.3.1 AA-SelectZ 26
• 3.3.2 AA-SelectQ 28
• 3.4 Prompt Templates 30
• Chapter 4 Experiments 33
• 4.1 Task Performance on Three Downstream Tasks 33
• 4.2 Ablation Study of AlignedAug Stages 38
• 4.3 AlignedAug Performance on Distributional Gap Reduction 39
• Chapter 5 Results & Discussion 40
• 5.1 Task Performance on Three Downstream Tasks 40
• 5.2 Ablation Study of AlignedAug Stages 46
• 5.3 AlignedAug Performance on Distributional Gap Reduction 47
• 5.4 Additional Analysis 49
• 5.4.1 Naturalness and Coherence Distribution Gap 49
• 5.4.2 Accuracy under Different Context Sizes for Classification Training 51
• 5.4.3 Accuracy under Different Augmentation Scales for Classification Training 53
• Chapter 6 Conclusion 55
• 6.1 Limitations and Future Directions 56