도메인 특화 질의응답 시스템 : 할루시네이션 저감을 중심으로 한 지역 생물다양성 연구 사례 = A Domain-Specific Question-Answering System : A Case Study on Regional Biodiversity with Hallucination Reduction|RISS 상세보기

국문 초록 (Abstract)

국문초록

최근 대규모 언어 모델(LLM)은 자연어 처리 분야에서 혁신적인 성능을 보여주고 있으나, 사실 관계의 정확성이 엄격히 요구되는 생물학 및 환경 보존과 같은 전문 도메인에서는 지식의 부재나 학습 데이터의 편향으로 인한 환각현상(Hallucination)이 치명적인 한계로 지적되고 있다.
본 연구는 이러한 문제를 해결하기 위해 국립생물자원관(National Institute of Biological Resources)에서 구축한 25,593종의 국가 생물 종 목록과 약 970,000개의 구조화된 지식 데이터를 활용하여, 검증된 지식에 기반한 도메인 특화 질의응답 시스템인 BioChat을 제안한다. 본 논문의 핵심적 기여는 검색 증강 생성(RAG) 파이프라인의 고질적인 문제인 거짓 양성(False Positive) 문맥 주입을 효과적으로 제어하기 위한 통계적 재순위화 기반 동적 라우팅(Dynamic Routing) 메커니즘의 설계 및 구현에 있다. 기존의 Naive RAG 시스템은 벡터 유사도에만 의존하여 관련성이 낮은 정보까지 생성 과정에 포함시키는 경향이 있으며, 이는 부정확한 답변 생성의 원인이 된다. 이를 개선하기 위해 본 연구는 Bi-Encoder 기반의 1차 검색 후, Cross-Encoder 구조의 재순위화를 통해 산출된 유사도 점수 분포를 정밀하게 분석하였다. 특히, 최적의 임계값(Threshold) 설정 알고리즘을 통해 질의의 성격에 따라 RAG 경로 또는 LLM의 내부 일반 지식을 활용하는 Fallback 경로로 실시간 분기하는 구조를 구축함으로써 시스템의 답변 신뢰성을 획기적으로 향상시켰다. 제안하는 BioChat 시스템의 성능 검증을 위해 1. 임베딩 모델의 최적성, 2. 라우팅 전략의 유효성, 3. 최신 오픈소스 생성 LLM(Qwen2, Gemma-2 등)의 도메인 적합성을 체계적으로 평가하였다. 400개의 수동 구축 벤치마크 데이터셋을 활용한 실험 결과, 제안된 재순위화 기반 라우팅 전략은 Naive RAG 대비 사실 정확도(Factual Accuracy)를 47.9%에서 71.3%로 약 23.4%p 향상시켰으며, 환각율은 34.0%에서 24.4%로 유의미하게 감소시키는 성과를 거두었다. 아울러 한국어 특화 임베딩 모델(Ko-SROBERTA)이 범용 모델 대비 약 4.6배 높은 MRR(Mean Reciprocal Rank)을 기록함을 확인하여 도메인 특화 시스템 구축 시 임베딩 최적화의 필수성을 입증하였다. 결론적으로 본 연구는 재순위화 기반의 정밀 라우팅 메커니즘이 RAG 시스템의 신뢰성을 결정짓는 핵심 아키텍처임을 정량적으로 증명하였다. 구축된 BioChat은 생물다양성 정보에 대한 국민적 접근성을 높이고 증거 기반의 환경 정책 수립을 지원하는 신뢰할 수 있는 인프라로서의 가치를 지닌다. 또한, 본 연구에서 제시한 프레임워크와 평가 방법론은 의료, 법률 등 고도의 정확성이 요구되는 타 전문 분야의 도메인 특화 LLM 구축을 위한 실전적인 청사진을 제공한다는 점에서 학술적·실용적 의의가 크다.

번역하기

국문초록 최근 대규모 언어 모델(LLM)은 자연어 처리 분야에서 혁신적인 성능을 보여주고 있으나, 사실 관계의 정확성이 엄격히 요구되는 생물학 및 환경 보존과 같은 전문 도메인에서는 ...

목차 (Table of Contents)