Feedback-Driven Alignment Framework for Robust Retrieval Agents in Unseen Domains = 미지 도메인에 강건한 검색 에이전트를 위한 피드백 기반 정렬 프레임워크

국문 초록 (Abstract)

본 학위 논문은 기존의 정적인 검색 파이프라인이 자기 검증과 동적 개선을 위한 피드백이 부재한 수동적 관찰자에 머물러 있다는 점에 주목하여, 미지의 도메인에 검색 시스템을 효과적으로 적응시키기 위한 문제를 다룬다. 이를 해결하기 위해 본 연구는 데이터 생성, 도구 검증, 모델 적응, 적응형 추론의 4단계로 구성된 포괄적인 아키텍처를 제안한다. 이 시스템은 검색의 패러다임을 수동적 관찰자에서 합성 데이터를 구축하고, 적응 신호를 검증하며, 사용자 쿼리를 반복적으로 정제할 수 있는 능동적 에이전트로 전환하는 것을 목표로 한다.

첫째, 데이터 생성 단계를 위한 기반을 마련한다. 기존의 데이터 중심 접근법은 합성 쿼리 생성 시 국소적인 문서 문맥에만 의존하는 수동적 관찰의 한계가 있었다. 이를 극복하기 위해 분포 인식 도메인 적응 (DADA) 프레임워크를 제안한다. DADA는 개별 문서로부터 얻은 관찰 수준의 피드백과 전체 말뭉치에서 얻은 도메인 수준의 피드백을 동기화함으로써 전역적인 말뭉치 인식을 강화한다. 이를 통해 학습되지 않은 결정적인 쿼리 용어를 생성하고, 검색기를 타겟 도메인의 분포에 효과적으로 적응시킨다.

둘째, 생성된 적응 신호의 신뢰성을 보장하기 위해 도구 검증 단계를 도입한다. 시스템이 외부 도구의 편향되거나 환각이 포함된 출력을 맹목적으로 신뢰하여 오류가 전파되는 위험을 방지하고자, 용어 수준 검색 증강 생성 (tRAG) 기법을 제안한다. 이 방법은 생성 후 검증 메커니즘을 구현하여 에이전트가 생성된 키워드를 원본 문서와 능동적으로 교차 검증하게 한다. 이러한 안전장치는 노이즈를 효과적으로 필터링하여 적응 과정이 타겟 도메인의 내용에 충실하도록 보장한다.

셋째, 모델 적응을 통해 견고한 시스템 아키텍처를 구축한다. 고정된 검색기들을 단순히 결합하는 기존 하이브리드 검색 방식은 결과의 중복을 초래한다는 한계가 있다. 이에 본 연구는 상호보완성 비율 (RoC) 목적함수를 제안하여, 구성 모델들이 서로 다르면서도 상호보완적인 관련 문서 집합을 커버하도록 능동적으로 조정한다. 이질적인 에이전트 간의 시너지를 극대화함으로써 제로샷 환경에서도 더 넓은 커버리지와 견고성을 확보한다.

마지막으로, 적응형 추론을 통해 추론 시점에서의 동적 적응을 구현한다. 피드백 없이 진행되는 단일 추론은 에이전트가 과도한 연산을 하게 만들거나 오류를 범하기 쉽다. 이를 해결하기 위해 상태 머신 추론을 (SMR) 제시한다. 정제와 재순위화를 위한 명시적인 상태를 정의함으로써, 모델이 자신의 진행 상황을 모니터링하고 쿼리를 반복적으로 개선할 수 있게 한다. 이는 에이전트 루프를 완성하여 런타임 동안 시스템이 자율적으로 효율성과 정확도의 균형을 맞추도록 한다.

종합적으로, 본 논문은 견고한 도메인 적응을 위해서는 능동적인 검증과 적응 루프가 필수적임을 입증한다. 데이터, 모델, 쿼리 전반에 걸친 적응 과정을 통합하고 이를 검증 메커니즘으로 보완함으로써, 본 연구는 복잡한 미지의 환경을 탐색할 수 있는 정보 탐색 에이전트 구축을 위한 기반 청사진을 제공한다.

다국어 초록 (Multilingual Abstract)

Information retrieval systems are evolving from static matching tools into intelligent agents that bridge the cognitive gap between human intent and vast unstructured data. While the integration of large language models has accelerated this transition, current retrieval agents remain fragmented and fragile, particularly when deployed in unseen domains where data distributions and reasoning requirements shift unpredictably. This dissertation argues that realizing robust agentic retrieval requires transitioning from disparate components to a unified, self-correcting architecture. We propose the Feedback-Driven Alignment Framework, a comprehensive methodology that integrates the entire agent pipeline that spanning Data Generation, Query Refinement, Hybrid Retrieval, and Reasoning.

The core thesis is that a robust agent must actively align its internal states with external feedbacks from the environment throughout the process. We describe this approach through four specific stages:

First, regarding the Data Generation stage, we address the local observation bias often found in synthetic training signals. We introduce DADA, a method that leverages global corpus statistics as distribution feedback. By incorporating these signals, DADA aligns the generated training queries with the target domain’s vocabulary, effectively aligning local document context with global semantics.

Second, in the Query Refinement stage, we focus on mitigating the hallucination risks inherent in generative models. Our proposed tRAG mechanism utilizes retrieval evidence as verification feedback. By filtering out terms unsupported by the corpus, tRAG aligns the refined queries in the actual document content, ensuring reliability of the refinement.

Third, in the Hybrid Retrieval stage, we optimize the retrieval models to minimize the redundant coverage of static ensembles. We introduce the RoC objective, which employs relevance signals from sparse baselines as negative feedback. This aligns the dense retriever’s embedding space geometry to be orthogonal to the baseline, significantly enhancing complementary coverage.

Finally, to control inference dynamics in the Reasoning stage, we present SMR. To prevent overthinking from open-loop reasoning, SMR leverages the current retrieval state as real-time feedback. This dynamically aligns the agent’s reasoning trajectory with the optimal search path, enabling autonomous decisions on whether to refine, rerank, or terminate the session.

In conclusion, this dissertation establishes a foundation for the next generation of robust retrieval agents. By enforcing feedback-driven alignment across generation, refinement, retrieval, and reasoning, we demonstrate a systematic approach to adapting to the complexities of evolving information environments.

목차 (Table of Contents)

• Abstract i
• Acknowledgements 1
• Chapter 1
• Introduction 4
• 1.1 Overview 7
• 1.1.1 Alignment in Data Generation: Mitigating Local Bias via Global Corpus Feedback 7
• 1.1.2 Alignment in Query Refinement: Verifying Refined Terms via Retrieval Evidence Feedback 8
• 1.1.3 Alignment in Hybrid Retrieval: Optimizing Geometric Orthogonality via Lexical Feedback 9
• 1.1.4 Alignment in Reasoning: Controlling Trajectories via Retrieval State Feedback 9
• 1.2 Scope of Dissertation 10
• Chapter 2
• Background 13
• 2.1 Modern Retrieval Paradigms 13
• 2.1.1 Sparse Retrieval and the Vocabulary Mismatch Problem 14
• 2.1.2 Evolution of Dense Retrieval 15
• 2.2 Domain Adaptation via Generative Augmentations 17
• 2.2.1 Data Generation Pipeline 17
• 2.2.2 Limitation: The Problem of Local Observation 18
• 2.3 RAG and Reliability 19
• 2.3.1 Query Refinement via RAG 20
• 2.3.2 Limitation: Uncritical Reliance and Error Propagation 21
• 2.4 Ensemble Dynamics in Hybrid Retrieval 21
• 2.4.1 Static Aggregation Baselines 22
• 2.4.2 Limitation: Redundancy in Static Ensembles 22
• 2.5 Reasoning in Information-Seeking Agents 23
• 2.5.1 Reasoning-Intensive Retrieval and Agentic Frameworks 24
• 2.5.2 Limitation: Overthinking and Lack of Control 25
• Chapter 3 Alignment in Data Generation: Mitigating Local Bias via Global Corpus Feedback 28
• 3.1 DADA 28
• 3.1.1 Overview of GPL Training Process 28
• 3.1.2 Integration of DADA into GPL 30
• 3.1.3 Technique for Stable Training 34
• 3.1.4 Inference Process of DADA 34
• 3.2 Experiments 35
• 3.2.1 RQ1: Is domain-level feedback reflected as intended? 35
• 3.2.2 RQ2: Does DADA generate more gold terms as intended? 38
• 3.2.3 RQ3: Does DADA adapt better as intended? 38
• 3.3 Supplementary Details 41
• 3.3.1 Experimental Setup 41
• 3.3.2 Target Datasets 43
• 3.3.3 Discrepant Tendency of Unseen Gold Query Term Comparing GPL and GPL+ 44
• 3.3.4 Experiment Results on Additional Metrics 45
• 3.3.5 Experiment with different observation feedback 46
• 3.4 Summary 46
• Chapter 4 Alignment in Query Refinement: Verifying Refined Terms via Retrieval Evidence Feedback 48
• 4.1 tRAG 48
• 4.1.1 Motivation: Seen Term Bias of PQG 49
• 4.1.2 Baseline: Document-level RAG 51
• 4.1.3 Term-level Retrieval 52
• 4.1.4 Generate-then-Rank 53
• 4.2 Experiments 55
• 4.2.1 RQ1: Does tRAG better generate unseen terms than baselines? 56
• 4.2.2 RQ2: Does augmented unseen terms in refined queries improve performance? 59
• 4.2.3 RQ3: Does tRAG with Kq better enhance query quality than standard RAG? 61
• 4.3 Supplementary Details 62
• 4.3.1 Experimental Settings 62
• 4.3.2 Prompt for Summary 63
• 4.3.3 Prompt for Keyword Extraction 63
• 4.3.4 Prompt for Keyword Selection 64
• 4.3.5 Prompt for Query Refinement 64
• 4.3.6 Target Datasets 64
• 4.3.7 Examples of Refined Query 65
• 4.3.8 Performance on Fewer Unseen Term Datasets 65
• 4.3.9 Performance on Various LLMs 66
• 4.4 Summary 67
• Chapter 5 Alignment in Hybrid Retrieval: Optimizing Geometric Orthogonality via Lexical Feedback 69
• 5.1 RoC 69
• 5.1.1 Ratio of Complementarity (RoC) 69
• 5.1.2 Lexical Representation (S) 70
• 5.1.3 Semantic Representation (D) 72
• 5.1.4 Complementarity Objective 73
• 5.2 Experiment 76
• 5.2.1 Results and Analysis 77
• 5.3 Supplementary Details 81
• 5.3.1 Experimental Setting 81
• 5.3.2 Length Generalizability 84
• 5.4 Summary 85
• Chapter 6 Alignment in Reasoning: Controlling Trajectories via Retrieval State Feedback 86
• 6.1 SMR 86
• 6.1.1 Structured State Representation 86
• 6.1.2 IR-Specific Reasoning Actions 88
• 6.1.3 Action Selection Policy 90
• 6.2 Experiments 91
• 6.2.1 Experimental Setup 91
• 6.2.2 Analysis 93
• 6.3 Supplementary Details 100
• 6.3.1 Details of Refine Action 100
• 6.3.2 Policy Prompt 100
• 6.3.3 Details of Policy 101
• 6.3.4 Implementation Details 101
• 6.3.5 Evaluation on Additional Metrics 102
• 6.3.6 Action Distributions 102
• 6.3.7 Ablation Study for Action Selection Policy 103
• 6.3.8 Evaluation of Query Intent Preservation During Refinement104
• 6.3.9 Token Efficiency 105
• 6.3.10 Examples of Hard Queries 105
• 6.4 Summary 107
• Chapter 7 Conclusion 114
• 7.1 Summary of Dissertation 114
• 7.2 Future Directions 117
• 7.2.1 Towards Verifiable Test-time Scaling in Retrieval 117
• 7.2.2 From Static to Continuous Adaptation 118
• 7.2.3 Interactive Alignment via User Interaction 120
• 7.2.4 From Text to Multimodal Adaptation 121
• 요약 123