Post-Retrieval Context Engineering based RAG for Medical Question Answering = 의료 질의응답을 위한 Post-Retrieval 컨텍스트 엔지니어링 기반 RAG 프레임워크

다국어 초록 (Multilingual Abstract)

Large Language Models (LLMs) offer transformative potential in healthcare, yet
Medical Question Answering (QA) remains challenging due to strict requirements
for specialized knowledge and safety. While Retrieval-Augmented Generation (RAG)
mitigates hallucinations, standard approaches struggle with retrieval noise and information
loss within long contexts. Existing solutions relying on fine-tuning or specialized
retrievers face high barriers in clinical settings due to data privacy regulations
and infrastructure costs.
To address these limitations, we propose a Medical RAG framework utilizing
Post-Retrieval Context Engineering, designed to maximize performance without
modifying model parameters. By keeping the retriever and LLM fixed, this approach
focuses on the selection, compression, and reordering of the post-retrieval context.
This study aims to secure system accuracy and robustness solely through context
optimization, avoiding the need for high-cost training.
The proposed framework integrates recipes tailored to the medical domain, including
filtering based on medical entities and PICO structures, deduplication strategies,
and reordering algorithms using cues like definitions and MeSH terms. Additionally,
adaptive strategies such as evidence sketching and dynamic search expansion
are employed to enhance logical completeness.
Experiments on the BioASQ Task 13b benchmark demonstrate significant performance
improvements across all question types compared to a baseline RAG. Notably,
the method reduced the performance gap with an Oracle setting by over half
for Factoid questions without model changes. Furthermore, it achieved higher accuracy
while reducing input tokens by approximately 50%, proving cost-efficiency and
effectively suppressing hallucinations through transparent citation generation.
In conclusion, this study proves that substantial improvements in medical RAG
are achievable through sophisticated context engineering alone, challenging the need
for high-cost training. The proposed framework offers a practical solution for medical
institutions constrained by data security and cost, contributing to reliable medical
AI design.

국문 초록 (Abstract)

대형 언어모델(LLM)은 의료 분야에 혁신적인 잠재력을 제시했으나, 전문 지식과 환
자 안전을 위한 무결성이 요구되는 의료 질의응답(QA)은 여전히 난제이다. 검색 증강
생성(RAG)이 환각 완화를 위해 도입되었지만, 표준적인 접근법은 검색 잡음과 긴 컨
텍스트 내 정보 손실 문제로 한계를 보인다. 기존 연구들은 도메인 특화 학습이나 미세
조정으로 이를 해결하려 했으나, 이는 데이터 보안 규제와 막대한 인프라 비용으로 인해
실제 임상 현장 도입에 높은 진입 장벽을 가진다.
이에 본 연구는 모델 파라미터 수정 없이 성능을 극대화할 수 있는 Post-Retrieval
Context Engineering 기반의 Medical RAG 프레임워크를 제안한다. 본 접근법은 Retriever와
LLM을 고정된 상태로 유지하며, 검색된 문헌이 생성 단계로 넘어가기 전의
중간 단계인 선택, 압축, 재배열 과정을 통해 고비용의 학습 없이도 시스템의 정확도와
강건성을 확보하는 것을 목표로 한다.
제안된 프레임워크는 의료 도메인 특성을 반영하여 의학 엔티티와 PICO 구조 분석
을 통한 정보 밀도 최적화, 중복 제거, 그리고 정의(Definition)나 MeSH 용어를 활용한
재배열 알고리즘을 통합한다. 또한, 근거 요약(Evidence Sketching) 및 동적 검색 확장
과 같은 적응형 전략을 도입하여 답변의 논리적 완결성을 강화하였다.
BioASQ Task 13b 벤치마크 실험 결과, 제안된 프레임워크는 단순 RAG 대비 모
든 질문 유형(Yes/No, Factoid, List, Summary)에서 유의미한 성능 향상을 달성했다.
특히 난이도가 높은 Factoid 질문에서는 모델 변경 없이도 Oracle(정답 문서 입력) 성능
과의 격차를 절반 이상 줄이는 성과를 거두었다. 아울러 입력 토큰 수를 50% 수준으로
절감하면서도 더 높은 정확도를 달성하여 비용 효율성을 입증하였으며, 인용 분석을
통해 환각을 억제하고 투명한 근거 기반 답변을 생성함을 확인하였다.
결론적으로 본 연구는 고비용의 학습 없이 정교한 post-retrieval 컨텍스트 엔지니
어링만으로도 의료 RAG 시스템의 획기적인 개선이 가능함을 실증하였다. 이는 데이터
보안과 비용 문제로 제약받는 의료 기관에 즉시 적용 가능한 현실적인 솔루션을 제공
하며, 신뢰할 수 있는 의료 AI 시스템 설계에 기여한다.

목차 (Table of Contents)

• Abstract
• Contents
• List of Tables
• List of Figures
• Chapter 1 Introduction 1
• 1.1 Motivation 1
• 1.2 Problem Statement 4
• 1.3 Contributions 6
• Chapter 2 Related Works 8
• 2.1 Retrieval-Augmented Generation (RAG) 8
• 2.2 Post-Retrieval Context Engineering 13
• 2.3 Medical RAG and BioASQ QA 17
• Chapter 3 Methodology 21
• 3.1 Overall RAG Framework 21
• 3.2 Experimental Setting Overview 24
• 3.2.1 Sentence-level Context Abstraction 24
• 3.2.2 Retriever/LLM Fixed Constraint 24
• 3.2.3 Post-Retrieval Intervention Scope 24
• 3.3 Post-Retrieval Context Engineering Recipe 25
• 3.3.1 Entity-Pack 26
• 3.3.2 PICO-keep 27
• 3.3.3 Citation-level Deduplication (Dedup) 28
• 3.3.4 RRF-based Soft Re-ranking (RRF) 29
• 3.3.5 Definition Boost (Defn) 30
• 3.3.6 MeSH Boost 31
• 3.3.7 Evidence Sketching (Sketch) 32
• 3.3.8 Unsupported-Triggered Adaptive k (UTAK) 34
• 3.3.9 Application Order when Combining Recipes 35
• Chapter 4 Experimental Results 38
• 4.1 Summary of Experimental Setup 38
• 4.1.1 BioASQ QA Task 13b 39
• 4.1.2 PubMed Corpus Representation 40
• 4.1.3 Retrieval and Context Selection 41
• 4.1.4 LLM Backend and Decoding Configuration 43
• 4.1.5 Prompt Templates 43
• 4.2 Evaluation Metrics 44
• 4.2.1 Yes/No Questions 45
• 4.2.2 Factoid Questions 45
• 4.2.3 List Questions 46
• 4.2.4 Summary Questions 46
• 4.3 Overall QA Performance 47
• 4.3.1 Baseline vs. LLM-only 48
• 4.3.2 Improvements in Factoid QA 49
• 4.3.3 Trends in Yes/No, List, and Summary QA 49
• 4.3.4 Ablation: Single-Recipe Effects 50
• 4.4 Cross-Model Experiments: Robustness of Post-Retrieval Context Engineering 51
• 4.4.1 Positioning Relative to BioASQ Shared-Task Systems 53
• 4.4.2 Summary: QA Performance Perspective 54
• 4.5 Comparison with Oracle Upper Bound 55
• 4.6 Token Efficiency and Evidence Citation Patterns 56
• 4.7 Summary 58
• Chapter 5 Conclusion 59
• 5.1 Discussion 60
• 5.2 Limitations 61
• 5.3 Future Work 62
• Bibliography 63
• 국문초록 72
• 감사의 글 74