폐쇄망 환경에서의 고품질 RAG 시스템 구축을 위한 검색 방안 실증 연구 = An In-depth Study on Retrieval Strategies for Building High-Quality RAG Systems in Closed Network Environments

국문 초록 (Abstract)

본 논문에서는 보안 폐쇄망(Closed-Network) 환경을 위한 고품질 온프레미스 RAG 시스템 구축 방안을 제안한다. 오픈소스 모델의 검색 저하와 환각 문제를 해결하고자 Kiwi 기반 하이브리드 검색과 Cross-Encoder 재순위화(Re-ranking)를 도입하고, CoT 프롬프팅 기반의 생성 최적화를 수행하였다. 제안한 시스템은 단일 밀집검색(Dense Retrieval) 대비 Hit@5를 16%p 개선하고 NDCG@10 0.736의 고정밀 검색을 달성하였다. 특히 재순위화는 Faithfulness를 0.87로 높여 환각을 효과적으로 억제했으나, 8B 소형 모델에서의 CoT 적용은 오히려 '추론 노이즈'를 유발해 생성 품질(Faithfulness 0.78, Relevance 0.64)을 저해하는 역설적 현상이 관찰되었다. 폐쇄망 RAG 구축 시 무분별한 추론 확장보다 재순위화를 통한 문맥 최적화가 필수적임을 규명하였다. 제안한 시스템을 이용하면 보안 환경의 실무적 RAG 구축 가이드라인으로 활용될 것으로 기대된다.

다국어 초록 (Multilingual Abstract)

This study presents an optimized on-premises RAG architecture for secure closed networks by integrating Kiwi-based hybrid search and Cross-Encoder re-ranking. Experimental results demonstrate a 16%p improvement in Hit@5 and a high-precision NDCG@10 of 0.736, where re-ranking significantly enhanced Faithfulness to 0.87 by maximizing context purity. Paradoxically, applying Chain-of-Thought (CoT) in the 8B model induced 'reasoning noise,' which degraded generation quality, resulting in a Faithfulness of 0.78 and Relevance of 0.64. These findings suggest that precise context optimization via re-ranking is more effective than indiscriminate reasoning expansion for deploying reliable RAG systems in resource-constrained and secure environments.