Toward robust and efficient retrieval-augmented generation

국문 초록 (Abstract)

대규모 언어 모델(LLMs)은 다양한 자연어 처리 과제에서 뛰어난 성능을 보이며 그 효용성이 널리 입증되고 있다. 그러나 이러한 모델은 파라메트릭 지식에 의존한다는 근본적 한계를 지니고 있으며, 이에 따라 최신 정보를 반영 하지 못하고 환각(hallucination)에 취약해 사실적 일관성이 저하되는 문제가 발생한다. 이러한 한계를 완화하기 위해 외부 지식을 검색하여 생성 과정에 활용하는 Retrieval-Augmented Generation (RAG)이 주목받고 있다. 그럼에 도 불구하고 RAG는 여전히 여러 도전 과제를 안고 있다. (i) 검색된 문서에는 여전히 무관하거나 노이즈가 많은 정보가 존재하며, (ii) 검색된 문서를 프롬 프트에 포함함에 따라 연산 비용이 증가하고, (iii) 외부 지식이 모델 내부의 파라메트릭 지식과 충돌하여 오히려 closed-book 형태의 LLM보다 성능이 저하되는 상황도 발생한다. 이러한 한계는 보다 효과적이며 동시에 견고하고 효율적인 RAG 프레임워크의 필요성을 강조한다.
본 학위논문은 이러한 목표에 부합하는 세 가지 상호 보완적 접근법을 제 안한다. 첫째, MGFiD는 문단 및 문장 수준의 다중 단위 정보를 활용한 다중 과업 학습을 통해 검색된 여러 문맥 중 핵심적인 정보를 보다 정확하게 식별 하고 활용하도록 설계되었다. 이를 통해 불완전한 검색 환경에서도 효과적인 정보 통합과 향상된 생성 품질을 달성한다. 또한 다중 과업 학습 과정에서 생 성되는 중간 산출물을 재활용하여 기존 Fusion-in-Decoder 구조의 연산 효율 을 높인다. 둘째, R2C는 장문의 프롬프트를 간결하면서도 핵심적인 문맥으로 압축하여 효율성을 개선하는 방법이다. R2C는 교차 어텐션 점수를 활용하여 전체 문맥을 고려한 중요도를 추정하고, 필수 정보만을 유지함으로써 압축된 프롬프트에서도 사실적 정확도를 유지하도록 돕는다. 마지막으로, CARE는 검색된 외부 정보가 파라메트릭 지식과 충돌할 때의 취약성을 극복하는 것을 목표로 한다. 이를 위해 LLM을 상속한 컨텍스트 평가자로 문맥을 압축된 메모리 임베딩으로 인코딩하고, 생성 과정에서 신뢰할 수 있는 지식원으로 방향을 조정하는 기법을 제안한다. 이 방식은 견고성을 확보할 뿐 아니라, 소프트 프롬프팅 설계를 통해 LLM의 프리필 연산을 단축시켜 효율성 또한 향상시킨다.
결론적으로, 본 논문은 효과성에서 출발하여 효율성, 그리고 최종적으로 는 효율성을 동반한 견고성 강화에 이르는 일련의 검색 증강 생성 연구를 제시 한다. 구체적으로, 관련 있는 문맥에 집중하도록 유도하여 근거성을 강화하 고, 프롬프트 압축을 통해 연산 비용을 절감하며, 외부 문맥과 내부 지식 간의 충돌을 해결하면서도 LLM의 일반화 능력을 유지한다. 개방형 질의응답, 사 실 검증 등 다양한 과업를 대상으로 수행된 광범위한 실험을 통해, 본 논문은 견고성과 효율성의 향상이 실제 환경의 노이즈와 동적 정보 변화 속에서도 신뢰할 수 있는 RAG 프레임워크 개발로 이어짐을 입증한다.

다국어 초록 (Multilingual Abstract)

Large Language Models (LLMs) have achieved strong performance across a wide range of natural language processing tasks. However, their reliance on parametric knowledge introduces intrinsic limitations, such as hallucinations and difficulty in incorporating up-to-date information. Retrieval-Augmented Generation (RAG) addresses these issues but encounters significant challenges: (i) retrieved content often contains irrelevant or noisy information; (ii) incorporating retrieved contexts into prompts increases computational costs; and (iii) external knowledge can conflict with the model’ s parametric knowledge, potentially degrading output quality compared to closed-book LLMs. These challenges motivate the development of RAG frameworks that are not only effective but also robust and efficient.
This dissertation presents three complementary approaches to build a robust and efficient RAG framework by selecting, compressing, and validating context. First, Multi-granularity Guided Fusion-in-Decoder (MGFiD) mitigates the impact of noisy context by enhancing selection through multigranular signals at both passage and sentence levels. By leveraging a multi-task learning setup and reusing intermediate representations, MGFiD optimizes the utilization of retrieved information and improves computational efficiency under imperfect retrieval conditions. Second, Reading to Compression (R2C) addresses efficiency by compressing long prompts into concise contexts. It utilizes cross-attention scores as a proxy to capture global context importance, retaining essential information to reduce input length without sacrificing factual accuracy. Finally, Conflict-aware Retrieval- Augmented Generation (CARE) enhances robustness specifically against conflicts between retrieved and parametric knowledge. CARE employs a context assessor to encode context into memory embeddings and utilizes grounded and adversarial soft prompting. This approach steers generation toward reliable sources while maintaining efficiency by accelerating the prefill stage by compressing the context into a few learnable embeddings.
In summary, this dissertation proceeds from effectiveness to efficiency and culminates in robustness. Through extensive experiments across open-domain QA and long-form generation, this work demonstrates that these contributions establish trustworthy RAG frameworks capable of performing reliably in realistic, noisy, and dynamically evolving environment.

목차 (Table of Contents)

• Chapter 1. INTRODUCTION 1
• 1.1 Background 1
• 1.2 Effectiveness 3
• 1.3 Efficiency 4
• 1.4 Robustness 5
• 1.5 Organization 6
• 1.6 Published Works 7
• Chapter 2. RELATED WORK 8
• 2.1 Retrieval-Augmented Generation (RAG) 8
• 2.2 Multi-task Reader and Decoding Efficiency 10
• 2.3 Prompt Compression 11
• 2.4 Context-Memory Conflicts 13
• 2.5 Fusion-in-Decoder (FiD) 14
• Chapter 3. MULTI-GRANULARITY GUIDED FUSION-IN-DECODER 16
• 3.1 Motivation 16
• 3.1.1 Multi-passage Reader. 16
• 3.1.2 Multi-task Reader 17
• 3.2 Learning Multi-granularity Evidence 20
• 3.3 Reusing Multi-granularity Evidence 24
• 3.4 Experimental Setup 26
• 3.4.1 Datasets. 26
• 3.4.2 Metrics. 26
• 3.4.3 Baselines 27
• 3.4.4 Implementation Details 27
• 3.5 Results and Analysis. 29
• 3.5.1 Main Results 29
• 3.5.2 In-depth Analysis. 32
• 3.5.3 Effectiveness of Evidence Labels 34
• 3.5.4 Effectiveness by the Number of Passages 36
• 3.5.5 Evaluation on label filtering 36
• Chapter 4. FROM READING TO COMPRESSING: EXPLORING THE MULTI-DOCUMENT READER FOR PROMPT COMPRESSION 38
• 4.1 Motivation 38
• 4.2 Problem Definition 40
• 4.3 Cross-attention scores as Token Importance 41
• 4.4 Hierarchical Compression 43
• 4.4.1 Chunk-level Importance 44
• 4.4.2 Sentence-level Importance 44
• 4.4.3 Token-level Importance 45
• 4.4.4 Performing Hierarchical Compression 45
• 4.5 Experimental Setup 47
• 4.5.1 Datasets. 47
• 4.5.2 Evaluation Metrics and Prompts 49
• 4.5.3 Evaluation Prompts 50
• 4.5.4 Baselines 50
• 4.5.5 Implementation Details 52
• 4.6 Results and Analysis. 53
• 4.6.1 Main Results 53
• 4.6.2 In-depth Analysis. 57
• 4.6.3 Ablation Study 61
• Chapter 5. CONFLICT-AWARE SOFT PROMPTING FOR RETRIEVAL-AUGMENTED GENERATION 64
• 5.1 Motivation 64
• 5.2 Training Context Assessor 66
• 5.2.1 Reconstruction Pre-training 68
• 5.2.2 Conflict-aware Fine-tuning. 69
• 5.3 Grounded/Adversarial Soft Prompting 69
• 5.4 Training Objectives. 71
• 5.5 Experimental Setup 73
• 5.5.1 Datasets. 73
• 5.5.2 Prompt Examples 73
• 5.5.3 Baselines 73
• 5.5.4 Evaluation Metrics. 75
• 5.5.5 Implementation Details 75
• 5.6 Results and Analysis. 77
• 5.6.1 Main Results 77
• 5.6.2 Experiments on Qwen 79
• 5.6.3 Fine-grained Evaluation 81
• 5.6.4 Ablation Study 82
• 5.6.5 Evaluation on Multiple Contexts 84
• 5.6.6 Visualization 85
• 5.6.7 Efficiency Analysis 86
• 5.7 Case Study 87
• Chapter 6. CONCLUSION 90
• 6.1 Conclusion 90
• 6.2 Discussion 92
• 6.2.1 Synergy and Trade-offs 92
• 6.2.2 From Encoder-Decoder to Decoder-Only Models 93
• 6.2.3 Various Context-Memory Conflicts 94
• 6.3 Future Directions 95
• 6.3.1 Memory Management for Agentic RAG via Prompt Compression 96
• 6.3.2 Bridging the Utility Gap: LLM-Preferred Retriever 96
• References 98
• Korean Abstract 115