Mitigating Training-Inference Gap in Generative Retrieval = 생성형 검색의 학습-추론 사이 간극 완화 방법

다국어 초록 (Multilingual Abstract)

Generative Retrieval (GR) directly generates document identifiers (DocIDs) without external indices. However, existing GR methods suffer from performance degradation due to the gap between queries seen during training and those encountered at inference time. This thesis analyzes and addresses this training-inference gap from two perspectives.
First, we identify granularity collapse in GR: during training, GR models develop a preference for generating DocIDs with a specific granularity, causing retrieval failures when it differs from that of the target document's DocID. We propose to quantify this mismatch using "isotropy" and confirm that retrieval accuracy degrades as such granularity mismatch increases. To address this, we propose Granularity Routing for Generative Retrieval (GR^2), which trains multiple expert models specialized for different granularity levels and routes each query to the appropriate expert. By manipulating the token embedding space through principal component analysis, we generate DocIDs with target granularity levels and select optimal DocIDs through a retrieval-aware optimization process.
Second, we propose D3 (Dynamic DocID Decoding) to resolve the misalignment between statically indexed DocIDs and query intents. D3 consists of a verification module that detects intent misalignment at inference time and a dynamic decoding module that extends DocIDs dynamically. It measures the probability difference between constrained and unconstrained decoding to detect misalignment, and extends DocIDs with tokens extracted from queries to better reflect query intent.
Experiments demonstrate that our methods achieve consistent performance improvements over existing approaches. Notably, we observe greater improvements on queries with unseen intents during training, indicating that our approach effectively mitigates the training-inference gap in generative retrieval.

국문 초록 (Abstract)

생성형 검색(Generative Retrieval, GR)은 외부 인덱스 없이 문서 ID(DocID)를 직접 생성하여 관련 문서를 검색하는 새로운 패러다임이다. 그러나 기존 GR 방법들은 학습 시 보았던 질의와 추론 시 만나는 질의 간의 간극으로 인해 성능 저하를 겪는다. 본 논문에서는 이러한 학습-추론 간극을 두 가지 관점에서 분석하고 해결한다.
첫째, GR 모델이 학습 과정에서 특정 세분성(granularity) 수준의 DocID만을 선호하게 되는 세분성 붕괴(granularity collapse) 현상을 규명한다. 이로 인해 질의의 세분성이 문서 DocID의 세분성과 다를 경우 검색에 실패하게 된다. 본 논문에서는 등방성(isotropy)을 세분성의 정량적 지표로 활용하여 이 현상을 분석하고, 세분성 불일치가 커질수록 검색 성능이 저하됨을 실증한다. 이를 해결하기 위해 GR^2(Granularity Routing for Generative Retrieval)을 제안한다. GR^2은 서로 다른 세분성에 특화된 복수의 전문가 모델을 학습하고, 추론 시 각 질의를 적절한 전문가로 라우팅한다. 주성분 분석을 통해 토큰 임베딩 공간을 조작하여 목표 세분성을 가진 DocID를 생성하고, 검색 과정을 모사하는 최적화를 통해 최적의 DocID를 선택한다.
둘째, 정적으로 인덱싱된 DocID와 질의 의도 간의 불일치 문제를 해결하기 위해 D3(Dynamic Docid Decoding)을 제안한다. D3은 추론 시점에 의도 불일치를 감지하는 검증 모듈과 DocID를 동적으로 확장하는 동적 디코딩 모듈로 구성된다. 제약된 디코딩과 제약 없는 디코딩 간의 확률 차이를 측정하여 의도 불일치를 감지하고, 질의에서 추출한 토큰으로 DocID를 확장하여 질의의 의도를 더 잘 반영하도록 한다.
실험을 통해 제안 방법들이 기존 방법 대비 일관된 성능 향상을 보임을 확인했다. 특히 학습 시 보지 못한 의도를 가진 질의에서 더 큰 성능 향상을 달성했으며, 이는 우리의 접근법이 학습-추론 간극을 효과적으로 완화함을 보여준다.

목차 (Table of Contents)

• Chapter 1 Introduction 1
• Chapter 2 Related Work 5
• 2.1 Granularity 5
• 2.2 Generative Retrieval 6
• 2.2.1 Document Indexing 6
• 2.2.2 Constrained Decoding 6
• 2.3 Isotropy 6
• Chapter 3 Preliminaries 8
• 3.1 Generative Retrieval Framework 8
• 3.1.1 DocID Indexing 9
• 3.1.2 Generation 9
• 3.2 Training-Inference Gap 10
• 3.2.1 Granularity Collapse (addressed by GR2) 10
• 3.2.2 Intent Misalignment (addressed by D3) 10
• 3.2.3 Interaction Between Gaps 11
• Chapter 4 GR2: Granularity Routing for Generative Retrieval 12
• 4.1 Quantifying Granularity by Isotropy 12
• 4.1.1 Definition of Granularity Score 13
• 4.1.2 Granularity Collapse in GR 13
• 4.2 Training Expert Models for Target Granularity 14
• 4.2.1 DocID Sampling with Target Granularity 15
• 4.2.2 DocID Selection 17
• 4.2.3 Model Training 19
• 4.3 Inference with Granularity Routing 19
• Chapter 5 D3: Dynamic Docid Decoding 21
• 5.1 Intent Misalignment 21
• 5.2 Verification: Detecting Intent Misalignment 22
• 5.3 Dynamic Decoding: Solving Intent Misalignment 24
• 5.4 Overall Process of D3 25
• Chapter 6 Experiments 28
• 6.1 Experimental Settings 28
• 6.1.1 Dataset 28
• 6.1.2 Evaluation Metric 29
• 6.1.3 Baselines 29
• 6.1.4 Implementation Details 29
• 6.1.5 Hyperparameters 30
• 6.2 Experimental Results 31
• 6.2.1 Retrieval Performance 31
• 6.2.2 Effectiveness of D3 31
• Chapter 7 Analysis and Discussion 33
• 7.1 Analysis of Granularity Collapse Mitigation 33
• 7.2 Analysis of Intent Misalignment 34
• 7.2.1 Intent Misalignment from Unseen Intent 34
• 7.2.2 Case Study 36
• 7.3 Efficiency 37
• 7.3.1 Efficiency of GR2 37
• 7.3.2 Efficiency of D3 37
• Chapter 8 Conclusion 39
• 8.1 Conclusion 39
• 8.2 Limitations 40
• 요약 49