Integration of Large Language Models and Information Retrieval: A Study on Semantic Search, Recommendation, Strategic Planning and User Analysis = 거대 언어 모델과 정보 검색의 통합: 의미론적 검색, 추천, 전략 계획 및 사용자 분석에 관한 연구

다국어 초록 (Multilingual Abstract)

The rapid expansion of data volumes provides significant opportunities for data-driven insights and decision making, while creating fundamental challenges in processing and analyzing diverse sources. Traditional Information Retrieval (IR) systems provide efficient data processing and retrieval through established indexing mechanisms, offering fast access and low computational costs. However, IR systems face emerging limitations when handling modern text data that requires contextual interpretation and semantic comprehension beyond simple keyword matching. Large Language Models (LLMs) demonstrate remarkable strengths in these areas. They offer advanced semantic understanding, contextual comprehension, and natural language generation capabilities. However, LLMs introduce computational overhead, factual reliability concerns, and knowledge constraints. Comparing these capabilities reveals that IR and LLM approaches possess complementary strengths, suggesting significant potential for effective integration. Such integration can leverage the strengths of both approaches while mitigating their individual limitations. This paper explores the integration of LLMs with IR methods across four domains: semantic search, recommendation, strategic planning, and user analysis. In semantic search, LLM-enhanced semantic indexing transforms traditional IR by enabling contextual understanding for conversational data retrieval. For recommendation systems, IR-based sequential recommendation models are enhanced with LLM conversational capabilities to balance historical user preferences with real-time interactions. In strategic planning, LLM-driven analysis is supported by efficient IR mechanisms that enable multiple AI agents to access and synthesize diverse information sources. For user analysis, LLM-generated interpretable criteria are converted into IR-compatible features, providing satisfaction estimation while eliminating LLM computational overhead during inference. Experimental results show that these hybrid approaches consistently outperform existing state-of-the-art models not only in accuracy but also in practical advantages including enhanced interpretability, reduced processing time, and lower operational costs. Based on these findings, this research demonstrates that strategic LLM-IR integration effectively addresses fundamental limitations in current information processing while providing practical approaches for developing advanced information systems.

국문 초록 (Abstract)

데이터 양의 급속한 증가는 데이터 기반 인사이트를 얻으며 이를 기반으로 한 의사결정의 기회를 제공하지만, 동시에 다양한 데이터 소스로부터의 정보 처리와 분석에 근본적인 어려움을 야기하고 있다. 기존의 정보 검색(Information Retrieval, IR) 시스템은 키워드 기반의 인덱싱 방식을 활용해 효율적인 데이터 처리와 검색을 수행하며, 빠른 접근 속도와 낮은 계산 비용이라는 실용적 장점을 갖는다. 하지만 단순한 키워드 매칭을 넘어 문맥적 해석과 의미적 이해가 필요한 최신 텍스트 데이터 분석 요구사항을 다룰 때 상당한 한계에 부딪히고 있다. 이와 달리, 거대 언어 모델(Large Language Models, LLM)은 높은 수준의 의미 이해, 문맥 파악, 자연어 생성 기능에서 매우 뛰어난 성능을 보인다. 하지만, LLM은 높은 계산 비용, 그럴듯한 거짓말을 만드는 환각 현상, 학습된 데이터로 지식이 제약된다는 단점을 갖는다. 이러한 두 방법의 특징을 살펴보면 IR과 LLM이 서로 보완적인 장점을 지니고 있음을 알 수 있으며, 이는 두 방법의 효과적인 결합 가능성을 보여준다. 이러한 결합을 통해 두 방식의 장점은 살리면서 각각의 한계는 보완할 수 있다. 본 연구는 의미 검색, 추천, 전략 기획, 사용자 분석 네 영역에서 LLM과 IR의 가능성을 확인한다. 의미 검색 영역에서는 LLM 기반 의미 인덱싱이 대화 데이터 검색에 문맥적 이해를 더해 기존 IR을 발전시킨다. 추천 시스템에서는 IR 기반 순차 추천 모델에 LLM의 대화 기능을 결합하여 과거 사용자 선호도와 실시간 상호작용의 균형을 맞춘다. 전략 기획에서는 LLM 중심의 분석이 효율적인 IR 구조의 도움을 받아 여러 AI 에이전트가 다양한 정보에 접근하고 이를 통합하도록 한다. 사용자 분석에서는 LLM이 만든 해석 가능한 기준을 IR과 호환되는 특성으로 바꾸어, 추론 과정에서 LLM의 계산 부담을 없애면서도 만족도를 평가한다. 실험 결과, 두 방법론을 결합한 방식이 기존의 최고 성능 모델들과 비교했을 때 더 우수한 성능을 보였으며, 해석력, 처리 시간, 운영 비용 등의 실용적 관점에서도 장점을 지닌 것을 확인했다. 이러한 결과를 토대로, 본 연구는 LLM-IR의 전략적 결합이 현재 정보 처리 방식의 근본적 한계를 효과적으로 해결하며, 고도화된 정보 시스템 개발을 위한 실용적 방법을 제시함을 보여준다.

목차 (Table of Contents)

• Abstract i
• Contents vii
• List of Tables ix
• List of Figures xi
• Chapter 1 Introduction 1
• Chapter 2 Semantic Search: LLM-Enhanced Information Retrieval for Conversational Data 5
• 2.1 Background 5
• 2.2 Literature Review 9
• 2.2.1 Information Retrieval 9
• 2.2.2 Linguistic Preliminaries 10
• 2.3 Proposed Method 12
• 2.3.1 Data Ingestion Phase 13
• 2.3.2 Retrieval Phase: Scoring 15
• 2.4 Experiments 16
• 2.4.1 Datasets 16
• 2.4.2 Baselines 17
• 2.5 Results 19
• 2.5.1 Baseline Results 19
• 2.5.2 Main Results 19
• 2.5.3 Practical Retrieval Efficiency 21
• 2.6 Analyses 23
• 2.6.1 Interacting with Each Component 23
• 2.6.2 2-Step Index Construction 23
• 2.6.3 Exploring the Effects of Score Ensembles 25
• 2.6.4 Potential to Hybrid Search 26
• 2.6.5 Optimization of HEISIR through Weighted Sum 27
• 2.6.6 Applications of Semantic Indexing 27
• 2.7 Summary 28
• Chapter 3 Recommendation: LLM-Augmented Sequential Recommendation with Conversational Interaction 31
• 3.1 Background 31
• 3.2 Literature Review 34
• 3.2.1 Recommender Systems 34
• 3.2.2 Curriculum Reinforcement Learning 35
• 3.3 Proposed Method 37
• 3.3.1 Problem Definition of Conversational Recommender Systems 37
• 3.3.2 User Simulator in CRS 38
• 3.3.3 FuseRec 41
• 3.4 Experiments 50
• 3.4.1 Datasets 50
• 3.4.2 Baselines 50
• 3.4.3 Evaluation Setting 52
• 3.4.4 Models and Hyperparameters 53
• 3.5 Results 53
• 3.5.1 Main Results 53
• 3.5.2 Adaptability of Planner Based on Data 54
• 3.5.3 Changes in Action Proportions Based on Difficulty Levels 55
• 3.6 Analyses 56
• 3.6.1 Effectiveness of Attribute and Semantic Searchers 56
• 3.6.2 Comparison of RL Planner and LLM Planner 56
• 3.6.3 Comparative Analysis of Curriculum Learning 58
• 3.7 Summary 59
• Chapter 4 Strategic Planning: IR-Supported LLM Agents for Collective Intelligence Analysis 60
• 4.1 Background 60
• 4.2 Literature Review 64
• 4.2.1 Generative AI and Auxiliary Techniques 64
• 4.2.2 Strategic Planning Tools Integrated with AI 66
• 4.3 Proposed Method 67
• 4.3.1 Agent Interaction and Workflow 69
• 4.3.2 Stage 1: Human-Guided Strategic Objective Definition and Data Collection 70
• 4.3.3 Stage 2: Retrieval Augmented Draft Generation 73
• 4.3.4 Stage 3: Supplementary Data Retrieval via Multi-Agents 76
• 4.3.5 Stage 4: Draft Revision via Collective LLM Intelligence 80
• 4.3.6 Stage 5: Multi-Perspective Strategic Plan Compilation 82
• 4.4 Experiments 86
• 4.4.1 Experimental Design 86
• 4.4.2 Datasets 88
• 4.4.3 Evaluation Metrics 89
• 4.4.4 Implementation Details 90
• 4.5 Results 91
• 4.5.1 Case Study 1: Company Analysis Using PESTEL 91
• 4.5.2 Case Study 2: Product Analysis Using SWOT 100
• 4.6 Summary 105
• Chapter 5 User Analysis: IR-Accelerated LLM Classification with Interpretable Features 107
• 5.1 Background 107
• 5.2 Literature Review 109
• 5.2.1 User Satisfaction Estimation 109
• 5.2.2 Retrieval Models 110
• 5.3 Proposed Method 110
• 5.3.1 Problem Statement 110
• 5.3.2 Strategy Definition 111
• 5.3.3 PRAISE: Plan and Retrieval Alignment for Interpretable Satisfaction Estimation 112
• 5.3.4 Inference 117
• 5.4 Experiments 118
• 5.4.1 Datasets and Metrics 118
• 5.4.2 Baselines 119
• 5.4.3 Implementation Details 120
• 5.5 Results 122
• 5.5.1 Main Results 122
• 5.5.2 Interpretability 124
• 5.5.3 Scalability 124
• 5.6 Analyses 127
• 5.6.1 Impact of Planner Variations 127
• 5.6.2 Embedding Model Performance Comparison 127
• 5.6.3 Passage Generation Method Evaluation 128
• 5.6.4 Impact of Initial Strategy Selection on Performance 128
• 5.7 Summary 129
• Chapter 6 Conclusion 130
• 6.1 Contributions 130
• 6.2 Future Work 132
• Bibliography 133
• 국문초록 172