Isotropy and Referentiability Learning for Zero-shot Retrieval = 제로샷 검색을 위한 등방성과 참조 가능성 학습

다국어 초록 (Multilingual Abstract)

Recent advances in dense retrieval expose fundamental issues in how embedding spaces behave under domain shift, particularly in zero-shot scenarios.
This thesis examines representation-level principles that strengthen generalization by focusing on two directions: balanced isotropy and query-focused referentiability.
First, we propose Hybrid Isotropy Learning (HIL), which stabilizes multi-vector retrieval models by combining isotropic and anisotropic properties of token representations.
Through an interaction-based isotropy metric (InterIso) and a hybrid late-interaction architecture, HIL improves zero-shot retrieval performance.
Second, we introduce Learning Referentiable Representation (LRR), a framework that ensures passages remain reliably referenced by their gold queries even when domains shift.
LRR enhances representation locality and query-awareness through two targeted metrics, Self-P and Self-Q, preventing degeneration into non-referentiable states.
Both studies offer a unified perspective on controlling representational geometry for dense retrieval. On experiments with BEIR and MS MARCO benchmarks, these approaches consistently improve zero-shot performance, demonstrating the importance of geometric regularization in retrieval models.

국문 초록 (Abstract)

최근 밀집 검색의 연구들은 도메인이 변하는 제로샷 시나리오에서 임베딩 공간의 근본적인 한계를 드러내고 있다. 본 논문은 일반화 성능을 강화하는 표현 수준의 원리를 탐구하며, 그 핵심으로 균형 잡힌 등방성과 쿼리 인지적 참조 가능성이라는 두 가지 방향에 초점을 맞춘다.
먼저, 토큰 표현의 등방적 특성과 이방적 특성을 결합함으로써 다중 벡터 검색 모델을 안정화하는 Hybrid Isotropy Learning (HIL)을 제안한다. 상호작용 기반 등방성 지표인 InterIso와 하이브리드 지연 상호작용(hybrid late-interaction) 구조를 통해, HIL은 제로샷 검색 성능을 향상시킨다.
다음으로, 도메인이 변화하더라도 문서가 해당 정답 쿼리에 의해 안정적으로 참조될 수 있도록 보장하는 Learning Referentiable Representation (LRR) 프레임워크를 소개한다. LRR은 Self-P와 Self-Q라는 두 가지 목적 지표를 통해 표현의 국소성과 쿼리 인지성을 강화하며, 표현이 참조 불가능한 상태로 붕괴되는 현상을 방지한다.
두 연구는 dense retrieval에서 표현 기하를 제어하는 통합적인 관점을 제시한다. BEIR 및 MS MARCO 벤치마크 실험 결과, 제안된 접근법들은 일관되게 제로샷 성능을 개선하였으며, 이는 검색 모델에서 기하학적 정규화의 중요성을 입증한다.

목차 (Table of Contents)

• Abstract i
• Chapter 1 Introduction 1
• 1.1 Background 1
• 1.2 Contribution 2
• 1.2.1 Hybrid Isotropy 2
• 1.2.2 Referentiable Representation 4
• 1.3 Related Work 5
• 1.3.1 Dense Retrieval and Zero-shot Generalization 5
• 1.3.2 Argmaxable 6
• 1.3.3 Isotropy 7
• Chapter 2 Hybrid Isotropy 10
• 2.1 InterIso 10
• 2.2 Naive Ensemble for Hybrid Isotropy 11
• 2.3 Hybrid Isotropy Learning Architecture 12
• 2.4 Experiments 15
• 2.4.1 Experimental Setting 15
• 2.4.2 Experimental Results 15
• Chapter 3 Referentiable Representation 24
• 3.1 Referentiability 24
• 3.2 Self-P and Self-Q 26
• 3.3 Learning Referentiable Representation 28
• 3.4 Experiments 30
• 3.4.1 Experimental Setting 30
• 3.4.2 Experimental Results 31
• Chapter 4 Conclusion 38
• 4.1 Conclusion 38
• 4.2 Limitation 38
• Appendix A Supplementary Details for Hybrid Isotropy 40
• A.1 Experimental setting 40
• A.2 Implementation 41
• A.3 Experiment details 42
• A.4 Additional evaluations 43
• Appendix B Supplementary Details for Referentiable Representation 46
• B.1 Similarity function 46
• B.2 Examples of non-referentiable passages 46
• B.3 Analysis with other backbones 47
• B.4 Local neighbor function 48
• B.5 Query generation with LLMs 50
• B.6 Detailed hyperparameters 50
• B.7 Other baseline 52