Improving Large Language Model Performance on Medical and Scientific QA Benchmarks with Reranker-Driven Retrieval Augmented Generation Framework = 재순위 기반 검색 증강 생성 프레임워크를 활용한 의료 및 과학 질의응답 벤치마크에서의 대형 언어모델 성능 향상

다국어 초록 (Multilingual Abstract)

Large Language Models have demonstrated remarkable capabilities in natural language understanding and generation. However, their application in high-stakes domains such as medicine and science is significantly constrained by the tendency to generate factually incorrect information, a phenomenon known as hallucination. Retrieval-Augmented Generation (RAG) has emerged as a promising framework to mitigate this issue by grounding model responses in external evidence. Despite its potential, the efficacy of RAG relies heavily on the precision of the retrieved documents, which is often suboptimal when using general-purpose retrieval systems in specialized domains. This study proposes a reranker-driven RAG tailored for medical and scientific question answering. We conduct a rigorous comparative analysis between traditional discriminative cross-encoders and emerging generative rerankers. Our investigation reveals that deploying pre-trained retrieval models without adaptation frequently leads to retrieval-induced degradation, where noisy context deteriorates performance compared to direct inference. To address this, we implement supervised fine-tuning on a composite biomedical corpus. The experimental results across five medical and scientific question answering benchmarks demonstrate that the domain-adapted generative reranker significantly outperforms both the discriminative cross-encoder and direct inference baselines. Notably, the fine-tuned generative model achieves significant improvements on BioASQ and MedMCQA, and competitive results on PubMedQA and MMLU, surpassing recent advanced frameworks. Furthermore, an ablation study indicates that while generative architectures require more data to converge, they possess a higher asymptotic performance ceiling than discriminative models. These findings suggest that leveraging the reasoning capabilities of generative models for relevance ranking is a viable strategy for building trustworthy and accurate medical artificial intelligence systems.

국문 초록 (Abstract)

거대 언어 모델(Large Language Models, LLMs)은 자연어 이해 및 생성 작업에서 탁월한 성능을 입증하였다. 그러나 의학 및 과학과 같이 높은 신뢰성이 요구되는 전문 분야에서는 사실과 다른 정보를 생성하는 `환각(hallucination)' 현상으로 인해 그 활용이 크게 제한되고 있다. 검색 증강 생성(Retrieval-Augmented Generation, RAG)은 외부 근거에 기반하여 모델의 응답을 생성함으로써 이러한 문제를 완화할 수 있는 유망한 방법론으로 대두되었다. 이러한 잠재력에도 불구하고 검색 증강 생성 기법의 성능은 검색된 문서의 정확성에 크게 의존하며, 전문 도메인에서 범용 검색 시스템을 사용할 경우 최적의 성능을 달성하기 어려운 한계가 존재한다.

본 연구에서는 의학 및 과학 분야의 질의응답에 특화된 리랭커(Reranker) 기반의 검색 증강 생성 프레임워크를 제안한다. 이를 위해 전통적인 판별적 교차 인코더(Discriminative Cross-encoder)와 최근 주목받고 있는 생성형 리랭커(Generative Reranker) 간의 심층적인 비교 분석을 수행하였다. 분석 결과, 도메인 적응(adaptation) 과정 없이 사전 학습된 검색 모델을 그대로 사용할 경우, 노이즈가 포함된 문맥이 오히려 모델의 성능을 직접 추론(Direct Inference)보다 저하시키는 `검색 유발 성능 저하(Retrieval-induced degradation)' 현상이 빈번하게 발생함을 확인하였다.

이를 해결하기 위해 본 연구에서는 복합적인 의학 및 생물학 코퍼스를 구축하여 지도 미세 조정(Supervised Fine-tuning)을 수행하였다. 5종의 의학 및 과학 질의응답 벤치마크를 통한 실험 결과, 도메인 적응된 생성형 리랭커가 판별적 교차 인코더 및 직접 추론 베이스라인 대비 월등히 우수한 성능을 나타냄을 입증하였다. 특히 미세 조정된 생성형 모델은 BioASQ와 MedMCQA 데이터셋에서 유의미한 성능 향상을 기록하였으며, PubMedQA와 MMLU에서도 최신 프레임워크를 상회하는 경쟁력 있는 결과를 달성하였다. 또한 생성형 리랭커 아키텍처가 성능 향상을 위해 상대적으로 더 많은 데이터를 필요로 하지만, 판별적 모델에 비해 더 높은 성능 잠재력(asymptotic performance ceiling)을 보유하고 있음을 확인하였다. 본 연구의 결과는 생성형 모델의 추론 능력을 문서 적합성 평가에 활용하는 것이 신뢰할 수 있고 정확한 의료 인공지능 시스템을 구축하는 데 있어 매우 유효한 전략임을 시사한다.

목차 (Table of Contents)

• Abstract i
• Contents iii
• List of Figures v
• List of Tables vi
• 1 Introduction 1
• 1.1 Background 1
• 1.2 Research Objectives 2
• 2 Related Work 5
• 2.1 Hallucinations in LLMs and Retrieval-Augmented Generation 5
• 2.2 Evolution of Reranking Architectures 5
• 2.2.1 Cross-Encoder Rerankers 5
• 2.2.2 Generative Rerankers 6
• 2.3 Domain Adaptation in Information Retrieval 7
• 3 Materials and Method 8
• 3.1 Datasets 8
• 3.1.1 Reranker Fine-Tuning Datasets 8
• 3.1.2 Medical and Science QA Benchmarks 10
• 3.2 Methodology Framework 12
• 3.2.1 Reranker Architectures and Training Objectives 12
• 3.2.2 Experimental Settings 14
• 3.2.3 RAG Inference Pipeline 15
• 3.3 Evaluation Metrics 16
• 3.3.1 Ranking Metrics 16
• 3.3.2 QA Performance Metrics 17
• 4 Results and Analysis 19
• 4.1 Intrinsic Reranker Evaluation 19
• 4.2 Extrinsic Evaluation: Downstream QA Performance 21
• 4.3 Scaling Laws of Adaptation 23
• 5 Conclusion 28
• 5.1 Limitations and Future Works 29
• References 30
• Appendix 37
• A Additional Results with Various Generator Models 37
• 국 문 초 록 40
• 감 사 의 글 42