소규모 언어 모델 기반의 질의응답 성능 개선을 위한 도메인 라우팅 기법 연구 : K대학 도메인을 중심으로

국문 초록 (Abstract)

이 연구는 소형 언어 모델(Small Language Model, SLM)과 도메인 라우팅 기법을 적용하여 기존 RAG 기반 질의응답 아키텍처의 성능을 대학 도메인 환경에서 최적화하는 방안을 제시하고, 그 효과성과 활용 가능성을 실증적으로 검증하는 것을 목적으로 한다. 최근 LLM 기반 질의응답 시스템은 높은 정확성을 보이는 반면, 고비용·고지연 구조로 인해 실제 서비스 환경에서의 활용에 제약이 존재하며, 반대로 SLM 기반 접근은 비용과 효율성 측면에서는 우수하나 복잡한 질의 처리에서 성능 한계가 나타난다. 이에 이 연구는 경량 도메인 라우터와 SLM 기반 RAG 질의응답 구조를 통합한 2단계 하이브리드 RAG 아키텍처를 제안함으로써 성능·비용·지연 간 균형을 확보할 수 있는 최적화 방안을 제시한다.
연구는 먼저 경기도 소재 K 대학교 공식 웹페이지로부터 학칙, 학사 공지, 대학 소개, 생활정보, 학과 및 조직 등 기능이 상이한 문서를 대규모로 수집하여 여섯 개 도메인과 도메인에 명확히 속하지 않는 일반 질의(basic) 클래스를 포함한 도메인 체계를 구축하였다. 규칙 기반 URL 패턴 분석, API 기반 LLM 자동 분류, 사람 검수의 3단계 절차를 통해 라우터 학습용 데이터셋을 구성하였으며, 텍스트 청크 생성, 합성 질의 생성, 그리고 응답의 품질을 자동 평가하기 위한 LLM-as-a-Judge 절차를 적용하여 약 1만 4천 개 규모의 라우터 데이터셋을 구축하였다. 또한 SLM 학습을 위해 API 기반 LLM의 self-instruction 방식으로 도메인 QA 데이터를 생성하고, 교차 도메인 합성과 품질 검증 절차를 거쳐 대학 행정·학사·생활 정보를 포괄하는 대규모 QA 데이터셋을 구축하였다.
제안 아키텍처는 (1) 도메인 라우터, (2) 도메인 분할 벡터 데이터베이스, (3) 질의응답 SLM으로 구성되는 단계적 처리 구조를 갖는다. 라우터는 질의를 도메인에 해당하는 c1~c6 또는 일반 질의(basic)로 분류하여 검색 필요 여부와 검색 범위를 결정하며, 분할 DB는 도메인 단위로 문서를 분리하여 검색 잡음을 최소화한다. 마지막으로 질의응답 SLM은 검색된 컨텍스트를 기반으로 단계적 추론을 수행하여 응답을 생성한다. 비교 실험을 위해 단일 DB 기반 Naive RAG 구조(Unified-DB Naive RAG) 및 LLM 라우터 기반 RAG 구조(Partitioned-DB LLM RAG)를 별도의 비교 아키텍처로 구성하였다.
실험 결과, 제안 아키텍처는 라우터 정확도, 검색 적합도, 응답 정합성 및 추론 품질 측면에서 우수한 성능을 보였으며, 특히 검색 범위 축소를 통해 컨텍스트 품질을 안정적으로 유지함으로써 SLM의 응답 신뢰도가 크게 향상되었다. 또한 LLM 기반 비교 구조 대비 비용과 지연을 크게 절감하여 RAG Trilemma(정확도–비용–지연) 관점에서 균형 잡힌 성능을 확보하였다. 이는 대규모 LLM 없이도 도메인 특화 질의응답 시스템을 구축할 수 있음을 실증적으로 검증한 것으로, 향후 대학 행정·학사와 같은 다도메인 질의응답 서비스 자동화 및 온디바이스, 온프레미스 환경에서의 실사용 가능성을 제시하였다.

다국어 초록 (Multilingual Abstract)

The purpose of this study is to propose an optimization strategy for a domain routing–based Retrieval-Augmented Generation (RAG) architecture utilizing a Small Language Model (SLM), and to empirically verify its effectiveness and practicality within a university-domain question-answering environment. While Large Language Model (LLM)-based QA systems generally exhibit high accuracy, their high computational cost and latency limit applicability in real-world services. Conversely, SLM-based approaches offer advantages in efficiency and cost, yet often face performance limitations when processing complex queries. To address these challenges, this study proposes a hybrid two-stage RAG architecture that integrates a lightweight domain router with an SLM-based RAG structure, thereby achieving a balanced trade-off among accuracy, cost, and latency.
To construct the datasets required for the proposed architecture, a large collection of documents was gathered from the official website of K University in Gyeonggi Province, including academic regulations, academic notices, university introductions, campus-life information, departments, and administrative divisions. These documents were categorized into six domains and one basic query class. A domain-classification dataset for router training was built through a three-step process consisting of rule-based URL pattern analysis, API-based LLM automatic classification, and human verification. Approximately 14,000 training samples were generated through text chunking, synthetic query generation, and quality filtering using an LLM-as-a-Judge procedure. In addition, domain-specific QA datasets for SLM training were created using an API-based self-instruction method, followed by cross-domain augmentation and quality validation, resulting in large-scale QA data covering university administration, academic affairs, and campus-life–related information.
The proposed architecture consists of three components: (1) a domain router, (2) domain-partitioned vector databases, and (3) a question-answering SLM. The router classifies input queries into one of the categories (c1–c6 or basic) to determine whether retrieval is required and to define the retrieval scope. The partitioned vector databases store documents separately by domain to minimize retrieval noise, while the SLM performs step-by-step reasoning using the retrieved context to generate answers. For comparative evaluation, a unified-database Naive RAG system and an LLM router–based RAG system were implemented as baseline architectures.
Experimental results show that the proposed architecture achieves superior performance in routing accuracy, retrieval relevance, answer consistency, and reasoning quality. In particular, restricting the retrieval scope contributed to stably maintaining context quality, thereby significantly enhancing the reliability of SLM-generated answers. Moreover, compared to the LLM-based baseline, the proposed system substantially reduced computational cost and latency, demonstrating balanced performance across the RAG Trilemma—accuracy, cost, and latency. These findings empirically demonstrate that domain-specific QA systems can be effectively constructed without relying on large LLMs, highlighting strong potential for deployment in multi-domain QA services such as university administration and academic support, as well as in on-device and on-premise environments.

목차 (Table of Contents)

• 1. 서 론 1
• 1.1 연구의 필요성 및 목적 1
• 1.2 연구의 내용 및 방법 2
• 1.3 연구의 제한점 4
• 2. 이론적 배경 5
• 2.1 언어 모델 5
• 2.2 검색 증강 생성 8
• 2.3 라우팅 기법 9
• 2.4 LoRA(Low-Rank Adaptation) 11
• 2.5 선행 연구 13
• 3. 도메인 라우팅 기반 소형 언어 모델 질의응답 아키텍처 15
• 3.1 제안 아키텍처 및 시스템 구조 15
• 3.2 비교 아키텍처1: Unified-DB Naive RAG 구조 17
• 3.3 비교 아키텍처2: Partitioned-DB LLM RAG 구조 18
• 4. 데이터셋 수집 및 구축 20
• 4.1 원천 데이터 수집 20
• 4.2 학습 및 평가 데이터 구축 23
• 4.2.1 라우터 모델 데이터셋 구축 23
• 4.2.2 질의응답 SLM 데이터셋 구축 26
• 5. 학습 및 평가 방법 30
• 5.1 라우터 모델 30
• 5.1.1 모델 선정 30
• 5.1.2 모델 학습 32
• 5.1.3 평가 방법 33
• 5.2 질의응답 SLM 35
• 5.2.1 모델 선정 35
• 5.2.2 모델 학습 37
• 5.2.3 평가 방법 38
• 5.3 제안 및 비교 아키텍처 41
• 5.3.1 평가 방법 41
• 6. 실험 결과 분석 45
• 6.1 라우터 모델의 실험 결과 45
• 6.2 질의응답 SLM의 실험 결과 46
• 6.3 제안 및 비교 아키텍처별 실험 결과 47
• 7. 결론 53
• 참고문헌 55
• 부 록 59
• [부록 1] 아키텍처별 질의응답 결과 예시 59
• Abstract 64