Rescuing the unpoisoned : efficient defense against knowledge corruption attacks on RAG systems

국문 초록 (Abstract)

대규모 언어 모델 (LLM)은 우리 일상생활의 다양한 측면을 재편하고 있으며, 이로 인해 웹 기반 서비스로서 광범위하게 활용되고 있다. 하지만, LLM은 환각 콘텐츠 생성 및 최신 정보 접근 부족과 같은 주목할 만한 과제에 직면해 있다. 최근 이러한 한계를 해결하기 위해 검색 증강 생성 (RAG)이 외부 지식 소스에 기반한 응답을 생성함으로써 유망한 대안으로 부상하고 있다. 전형적인 RAG 시스템은 i) 지식 베이스에서 관련 문단 그룹을 검색하는 검색기 (retriever)와 ii) 검색된 콘텐츠를 기반으로 응답을 생성하는 생성기 (generator)로 구성된다. 그러나 다른 AI 시스템과 마찬가지로, 최근 연구들은 잘못된 정보를 주입하는 지식 오염 공격과 같은 RAG의 취약성을 입증하고 있다. 이에 대응하여 LLM이 검색된 문장을 개별적으로 검사하거나 강건한 검색기를 미세 조정하는 것을 포함한 여러 방어 전략이 제안되었다. 비록 효율성을 입증하긴 하였지만, 이러한 접근법은 종종 상당한 계산 비용을 수반한다. 본 연구에서는 실용적인 RAG 프레임워크에서 지식 오염 공격에 대한 자원 효율적인 방어 메커니즘인 RAGDefender를 소개한다. RAGDefender는 검색 후 단계에서 작동하며, 경량 머신러닝 기반 기법을 활용하여 추가적인 모델 학습이나 추론 없이 적대적 콘텐츠를 탐지하고 필터링한다. 실험 결과 RAGDefender는 여러 모델과 적대적 시나리오에서 기존의 최첨단 방어 기법들을 일관되게 능가하는 것으로 나타났다. 예를 들어, 적대적 문단이 정상 문단보다 4배 많은 경우, RAGDefender는 Gemini 언어 모델에 대한 공격 성공률(ASR)을 0.89에서 0.02까지 낮추었으며, 이는 RobustRAG의 0.69, Discern-and-Answer의 0.24와 비교된다.

다국어 초록 (Multilingual Abstract)

Large language models (LLMs) are reshaping numerous facets of our daily lives, leading widespread adoption as web-based services. Despite their versatility, LLMs face notable challenges, such as generating hallucinated content and lacking access to up-to-date information. Lately, to address such limitations, Retrieval-Augmented Generation (RAG) has emerged as a promising direction by generating responses grounded in external knowledge sources. A typical RAG system consists of i) a retriever that probes a group of relevant passages from a knowledge base and ii) a generator that formulates a response based on the retrieved content. However, as with other AI systems, recent studies demonstrate the vulnerability of RAG, such as knowledge corruption attacks by injecting misleading information. In response, several defense strategies have been proposed, including having LLMs inspect the retrieved passages individually or fine-tuning robust retrievers. While effective, such approaches often come with substantial computational costs. In this work, we introduce RAGDefender, a resource-efficient defense mechanism against knowledge corruption (i.e., by data poisoning) attacks in practical RAG deployments. RAGDefender operates during the post-retrieval phase, leveraging lightweight machine learning techniques to detect and filter out adversarial content without requiring additional model training or inference. Our empirical evaluations show that RAGDefender consistently outperforms existing state-of-the-art defenses across multiple models and adversarial scenarios: e.g., RAGDefender reduces the attack success rate (ASR) against the Gemini model from 0.89 to as low as 0.02, compared to 0.69 for RobustRAG and 0.24 for Discern-and-Answer when adversarial passages outnumber legitimate ones by a factor of four (4x).

목차 (Table of Contents)

• 1. Introduction 1
• 2. Background 5
• 3. Threat Model 8
• 4. RAGDefender System 10
• 4.1. Grouping Retrieved Passages 11
• 4.2. Identifying Adversarial Passages 14
• 4.3. Design Choice 15
• 5. Implementation 17
• 6. Evaluation 19
• 6.1. Experimental Setup 19
• 6.2. Effectiveness of RAGDefender 21
• 6.3. Efficiency of RAGDefender 22
• 6.4. Adaptability of RAGDefender 25
• 6.5. Robustness of RAGDefender 28
• 6.6. Ablation Study 30
• 7. Discussion and Limitations 34
• 8. Related Work 37
• 9. Conclusion 40
• Reference 41
• Appendix 50
• 논문요약 56