Retrieval-Augmented Generation을 통한 효율적인 문서 검색 = Efficient Document Search using Retrieval-Augmented Generation

국문 초록 (Abstract)

최근 생성형 인공지능(Generative AI)의 급격한 발전으로 지식 경영의 패러다임이 변화하고 있으나, 기업 내부의 각종 보고서 등 비정형 문서는 보안 문제와 비용 제약으로 인해 외부 API 기반의 온라인 대규모 언어모델(LLM)을 직접 활용하기 어려운 실정이다. 이에 본 연구는 오프라인 언어모델을 활용하여 보안과 비용 제약을 해결하면서, 실무적으로 사용 가능한 검색 성능을 갖는 로컬PC 기반의 금융 도메인 특화 RAG(Retrieval-Augmented Generation) 시스템을 제안한다.

본 연구에서는 기업에서 생산하는 보고서 자료와 유사한 환경을 갖추기 위해 금융감독원, 금융위원회, 한국은행의 보고서 및 보도자료 등 총 1,295건의 문서를 수집하고, 이 문서들을 활용하여 금융 특화 벤치마크 데이터셋을 구축하였다. 검색 성능 최적화를 위해 기업 문서의 특징인 개조식 구조를 반영한 전용 청킹(Chunking) 기법을 설계하였으며, 금융권역에 특화된 임베딩 모델 생성을 위해 금융 용어사전을 활용, BGE-M3 임베딩 모델을 미세조정(Fine-tuning)하였다. 나아가 의미 기반 검색(Semantic Search)과 키워드 검색(BM25)을 결합한 하이브리드 검색 전략을 적용하여 문서 검색의 정확도를 제고하였다.

연구 결과, 오프라인 하이브리드 RAG시스템은 문서검색 성능을 나타내는 Hit@1 지표에서 0.535를 기록하여, 최신 온라인 상용 모델인 VoyageAI 기반 시스템(0.554) 대비 약 96.6% 수준의 검색 성능을 달성하였다. 또한, 로컬PC 자원의 제약을 극복하고 응답 속도를 개선하기 위해 MatKV(Materialized Key-Values) 기법을 적용한 결과, 문서 검색의 정확도를 유지하면서도 질의당 평균 소요 시간을 9.892초에서 2.536초로 획기적으로 단축하여 온라인 voyage 모델의 평균 소요시간인 1.930초에 버금가는 실시간 응답성을 확보하였다.

본 연구는 외부망 연결이 제한된 기업 내부 환경에서도 오프라인 LLM과 최적화된 검색 기법을 통해 상용 서비스 수준의 금융 문서 검색 시스템을 독자적으로 구축할 수 있음을 실증적으로 제시하였다는 데 의의가 있다.

다국어 초록 (Multilingual Abstract)

The recent rapid development of Generative AI is shifting the paradigm of knowledge management. However, due to security concerns and cost constraints, it is difficult to directly utilize external API-based online large-scale language models (LLMs) for unstructured documents such as internal corporate reports. Therefore, this study proposes a local PC-based financial domain-specific Retrieval-Augmented Generation (RAG) system that utilizes offline language models to address security and cost constraints while achieving practical search performance.

To simulate the environment used for corporate reports, this study collected 1,295 documents, including reports and press releases from the Financial Supervisory Service, Financial Services Commission, and Bank of Korea. These documents were used to build a finance-specific benchmark dataset. To optimize search performance, a dedicated chunking technique was designed that reflects the characteristic, recursion-like structure of corporate documents. To generate an embedding model specialized for the financial sector, the BGE-M3 embedding model was fine-tuned using a financial glossary. Furthermore, a hybrid search strategy combining semantic search and keyword search(BM25 algorithm) was applied to improve document retrieval accuracy.

As a result, the offline hybrid RAG system achieved a Hit@1 score of 0.535, representing document retrieval performance, achieving approximately 96.6% of the performance of the VoyageAI-based system (0.554), the latest online commercial model. Furthermore, to overcome local PC resource constraints and improve response speed, the MatKV (Materialized Key-Values) technique was applied. This dramatically reduced the average query time from 9.892 seconds to 2.536 seconds while maintaining document retrieval accuracy, achieving real-time responsiveness comparable to the online voyage model's average time of 1.930 seconds.

The value of this study is grounded in its empirical validation that a high-performance financial document retrieval system, competitive with commercial solutions, can be autonomously developed using offline LLMs and advanced retrieval strategies, even within security-constrained corporate networks.

목차 (Table of Contents)

• 제1장 서 론 1
• 제1절 연구의 목적과 배경 1
• 제2절 연구의 내용 2
• 제2장 선행 연구 4
• 제1절 FACTS : 기업에서 RAG 챗봇 도입시 고려할 사항 4
• 제2절 임베딩 모델의 미세조정을 통한 성능 향상 6
• 제3장 연구 방법 7
• 제1절 금융 특화 벤치마크 데이터셋 구축 7
• 제2절 RAG시스템 구축 8
• 1. 오프라인 LLM 기반(실험군) 8
• 2. 온라인 LLM 기반(대조군) 9
• 제3절 RAG시스템별 성능 비교 10
• 1. 청킹 기법에 따른 성능 점검 10
• 2. 임베딩 모델 최적화: 미세조정(fine-tuning) 10
• 3. 검색 방식 최적화: 하이브리드 검색 12
• 4. MatKV 기법 적용에 따른 성능 점검 14
• 제4절 결과 분석 및 시사점 도출 15
• 제4장 연구 결과 및 분석 16
• 제1절 평가 지표 설정 16
• 1. 정답 문서 검색 성능 평가지표 16
• 2. 질의에 대한 답변의 정확성 평가지표 17
• 3. 통합 평가지표 17
• 4. 질의별 평균 소요시간 18
• 제2절 청크 크기에 따른 RAG시스템의 성능 변화 19
• 1. 청크 크기에 따른 문서 검색 성능 비교 19
• 2. 청크 크기에 따른 답변의 정확도 20
• 3. 결론 21
• 제3절 온라인 LLM 성능 점검 21
• 제4절 오프라인 LLM 성능 점검 22
• 제5절 종합 성능 비교 분석 24
• 1. 온라인 vs 오프라인 LLM 성능 비교 24
• 2. 검색 성능 저해 요인 분석: 데이터 특성을 중심으로 25
• 3. MatKV 기법 적용에 따른 성능 점검 27
• 제5장 결 론 29
• 제1절 고찰 29
• 제2절 향후 과제 29
• 참고문헌 32
• Abstract 34