IntentSDR: An LLM-based Framework for Scalable and Citation-Intent-aware Scientific Document Retrieval Benchmarking = IntentSDR: 확장 가능하고 인용 의도를 반영한 과학 문헌 검색 벤치마킹을 위한 LLM 기반 프레임워크

다국어 초록 (Multilingual Abstract)

Scientific discovery is an iterative and knowledge-intensive process that heavily relies on the effective retrieval of prior literature. However, many existing Scientific Document Retrieval (SDR) benchmarks do not adequately capture the complexity of real-world research, suffering from limited scalability due to static corpus snapshots and a lack of explicit modeling of citation intents, that is, the reasons why researchers cite specific papers. To address these limitations, this thesis introduces the IntentSDR Framework, an LLM-based framework for scalable, citation-intent-aware SDR benchmarking grounded in citation relations, and instantiates it as the IntentSDR-Bench.

First, we propose a scalable seed-expansion strategy that traverses the citation network to construct stratified corpora ranging from thousands to hundreds of thousands of documents, allowing us to evaluate retrieval systems under continuously growing literature. Second, we define a hierarchical taxonomy of 11 citation intents, explicitly incorporating result-centric categories such as negative or null results to capture functional relationships that are often overlooked in prior work. Third, we implement a cost-effective LLM-driven pipeline that extracts these intents from citation contexts and formulates structured queries using specialized templates, thereby ensuring high domain relevance while reducing hallucinations.

Extensive experiments with various retrieval models (sparse, dense, and LLM-based) show that IntentSDR-Bench maintains consistent performance characteristics across different corpus scales, demonstrating system-level scalability. Furthermore, an "LLM-as-a-judge" evaluation confirms the high quality of the generated queries in terms of evidence support, self-containment, and intent alignment, while achieving significant cost efficiency without compromising query quality. Taken together, the IntentSDR Framework provides the research community with a sustainable tool for evaluating next-generation SDR systems under rich, intent-driven scientific information needs.

국문 초록 (Abstract)

과학적 발견은 반복적이고 지식 집약적인 과정이며, 선행 문헌의 효과적인 검색에 크게 의존한다. 그러나 기존의 과학 문헌 검색(Scientific Document Retrieval, SDR) 벤치마크들은 정적인 코퍼스 스냅샷으로 인한 확장성의 제한과 사용자의 실제 인용 의도(citation intent) 모델링의 부재로 인해, 실제 연구 환경의 복잡성을 충분히 반영하지 못하고 있다. 이러한 한계를 극복하기 위해, 본 학위논문은 확장 가능하고 인용 의도를 반영한 과학 문헌 검색 벤치마킹을 위한 LLM 기반 프레임워크를 제안한다.

첫째, 시드 확장 전략(seed-expansion strategy)을 도입하여 수천에서 수십만 건에 이르는 층화된 코퍼스를 구축함으로써, 문헌의 기하급수적 증가에 대응 가능한 강건한 확장성을 확보하였다. 둘째, 11가지의 계층적 인용 의도(citation intent) 분류 체계를 정의하였다. 이는 기존에 간과되었던 "부정적 결과"와 같은 결과 중심적 의도를 포함하여 논문 간의 복잡한 기능적 관계를 정밀하게 모델링한다. 셋째, LLM과 특수 템플릿을 활용한 비용 효율적인 생성 파이프라인을 구현하여, 환각 현상을 최소화하면서도 고품질의 구조화된 쿼리를 저비용으로 생성하는 방법을 제시하였다.

다양한 검색 모델(Sparse, Dense, LLM 기반)을 활용한 광범위한 실험 결과, 본 벤치마크는 코퍼스 규모의 변화에도 일관된 성능 특성을 유지하여 시스템적 확장성을 입증하였다. 또한 "LLM-as-a-judge" 평가를 통해 생성된 쿼리가 근거성(evidence)과 의도 정합성(intent alignment) 측면에서 높은 비용 효율성을 달성하면서도 품질을 확인하였다. 본 프레임워크는 차세대 SDR 시스템을 평가하기 위한 지속 가능하고 현실적인 도구를 연구 커뮤니티에 제공한다.

목차 (Table of Contents)

• Abstract i
• Contents v
• List of Tables vii
• List of Figures viii
• Chapter 1 Introduction 1
• 1.1 Problem Description 2
• 1.2 Proposed Solution 6
• 1.3 Validation and Contributions 8
• 1.4 Organization of the Thesis 10
• Chapter 2 Literature Review 11
• 2.1 Scientific Document Retrieval (SDR) 11
• 2.2 Benchmarks for Scientific Document Retrieval 12
• 2.2.1 Benchmarks for Document Representation 13
• 2.2.2 Facet-based SDR benchmarks: CSFCube 13
• 2.2.3 Expert-curated complex query benchmarks: DORIS-MAE and QASPER 14
• 2.2.4 LLM-assisted benchmarks: LitSearch 14
• 2.2.5 Limitations of current SDR benchmarks 15
• 2.3 Citation Analysis and Intent Modeling 16
• 2.4 LLM-driven Data Generation for IR 17
• Chapter 3 Methodology: LLM-based Benchmark Construction Framework 20
• 3.1 Scalable Corpus Construction (Phase 1) 21
• 3.1.1 Data source 21
• 3.1.2 Seed selection 21
• 3.1.3 Depth-based expansion to D1–D3 23
• 3.1.4 Stratified sampling and D4 construction 24
• 3.2 Hierarchical Citation Intent Modeling 25
• 3.3 Intent-aware Query and Label Generation (Phase 2) 27
• 3.3.1 Template-based query formulation 28
• 3.3.2 Query post-processing 29
• 3.3.3 Gold label construction and expansion 29
• 3.3.4 Hard negative mining (optional) 30
• 3.3.5 Final benchmark instances 31
• Chapter 4 Experiment and Analysis 33
• 4.1 Experimental Setup 33
• 4.1.1 Datasets 33
• 4.1.2 Retrieval models 34
• 4.1.3 Evaluation metrics 34
• 4.2 RQ1: Scalability of IntentSDR-Bench 35
• 4.2.1 Model performance across depths 35
• 4.2.2 Citation-intent distributions across depths 38
• 4.3 RQ2: Evaluation under Realistic Citation Intents 39
• 4.3.1 Intent-wise performance on D3 39
• 4.3.2 Consistency across models and depths 41
• 4.4 RQ3: Cost-efficiency and Quality Validation 43
• 4.4.1 Cost Analysis 43
• 4.4.2 LLM-as-a-judge Quality Evaluation 44
• 4.4.3 Summary of RQ3 48
• Chapter 5 Conclusion and Future Work 49
• 5.1 Summary of Contributions 49
• 5.2 Limitations 50
• 5.3 Future Research Directions 51
• Bibliography 53
• 국문초록 61
• 감사의 글 62