Implementation of Korean Grammar Learning Chatbot based on RAG and Multi-Agent Framework Technology Kim Aleksandr = RAG 및 멀티 에이전트 프레임워크 기술 기반 한국어 문법 학습 챗봇 구현|RISS 상세보기

다국어 초록 (Multilingual Abstract)

The global interest in Korean culture has driven a rising interest in Korean language learning, particularly among Russian speakers. However, existing learning resources often fail to combine interactivity with reliability. While Large Language Models (LLMs) offer conversational fluency, they are inherently prone to hallucinations, producing plausible but factually incorrect grammar explanations that are detrimental to self-directed learners. To address this critical reliability gap, this thesis presents the practical implementation, and evaluation of a Korean grammar learning chatbot powered by LLM and Retrieval-Augmented Generation (RAG). The proposed system fundamentally shifts the role of the LLM from an unconstrained knowledge source to a reasoning engine grounded in an expert-curated, dual-source knowledge base consisting of precise grammar definitions and context-rich lessons. The architecture employs a Multi-Agent System (MAS) where a Router Agent performs intent classification to delegate tasks to specialized worker agents: a Grammar Explaining Agent for complex conceptual queries and a Direct Grammar Search Agent for precise, dictionary-like lookups. The system is accessible via a Telegram bot interface, selected for its widespread adoption among the target Russian-speaking demographic. This interface interacts with an extensive, high-performance API that ensures architectural modularity, allowing for the seamless integration of alternative frontend choices in future iterations.

Empirical evaluation utilizing a semi-synthetically generated benchmark demonstrates the necessity of the RAG framework – the Grammar Explaining Agent achieved an answer accuracy of 90.8%, significantly outperforming standard zero-shot (77.5%) and few-shot (81.5%) baselines. The evaluation framework detailed in this research had demonstrated that the Hybrid Search strategy – enhanced by Hypothetical Document Embeddings (HyDE) and an LLM-based reranker – achieves superior precision for direct grammar lookups, whereas Cross-Encoder based reranking performs great in the context retrieval in RAG. A mixed-methods user study validated the system’s efficacy, with participants reporting high levels of trust and clarity. This research demonstrates that grounding AI in verifiable external knowledge is indispensable for educational tools, successfully bridging the gap between conversational AI’s potential and pedagogical requirements.

번역하기

국문 초록 (Abstract)

한국 문화에 대한 전 세계적 확산은 특히 러시아어 사용자를 중심으로 한국어 학습 수요를 급격히 증가시켰다. 그러나 기존의 한국어 학습 자원은 상호작용성과 신뢰성을 동시에 충족하지 못하는 한계를 지니고 있으며, 대규모 언어 모델(LLM)은 유창한 대화 능력에도 불구하고 환각 현상으로 인해 사실과 다른 문법 설명을 생성할 위험이 있다. 이러한 문제는 자기 주도 학습 환경에서 학습 오류를 고착화시킬 수 있다는 점에서 교육적 신뢰성 측면의 핵심 과제로 지적된다. 본 논문은 이러한 신뢰성 격차를 해결하기 위해 LLM과 검색 증강 생성(Retrieval-Augmented Generation, RAG)을 기반으로 한 한국어 문법 학습 챗봇을 구현하고 그 효과를 평가하였다.

제안된 챗봇 시스템은 한국어 문법 학습자가 질의응답 방식으로 문법 규칙을 학습할 수 있도록 대규모 언어 모델의 역할을 제약 없는 지식 소스에서 전문가가 직접 작성한 문법 정의 데이터셋과 맥락이 풍부한 강의 문서 코퍼스를 근거로 추론을 수행하는 구조로 설계되었다. 구현된 시스템은 사용자 질의를 분석하는 라우터 에이전트가 의도 분류를 수행한 후 전담 워커 에이전트에게 작업을 위임하는 다중 에이전트 시스템 구조로 구성된다. 전담 에이전트로는 강의 문서 코퍼스를 활용하여 복합적인 개념적 질의에 대한 설명을 수행하는 문법 설명 에이전트와 전문가 작성 문법 정의 데이터셋을 참조하여 정확한 사전식 검색을 수행하는 직접 문법 검색 에이전트가 포함된다. 또한, 제안 시스템은 러시아어 사용자들 사이에서 널리 사용되는 텔레그램 봇 인터페이스를 통해 제공되며, 이는 구조적 모듈성을 보장하는 고성능 API와 연동되어 향후 다양한 프런트엔드로의 확장이 가능하다.

제안된 시스템의 효과성을 검증하기 위해, 반합성 데이터로 구성된 문법 질의 벤치마크를 활용하여 RAG 기반 문법 설명 에이전트와 기존 LLM 기반 접근법 간의 성능 비교 실험을 수행하였다. 우선 질의 응답에 대한 성능 평가 결과, 검색 증강 생성 기반 문법 설명 에이전트는 90.8%의 정답 정확도를 달성하여 제로샷(77.5%) 및 퓨샷(81.5%) 기반 접근법을 유의미하게 상회하는 성능을 보였다. 두 번째로 평가 프레임워크 분석 결과 가상 문서 임베딩(HyDE)과 LLM 기반 리랭커를 결합한 하이브리드 검색 전략은 직접적인 문법 검색에서 높은 정밀도를 나타낸 반면, 크로스 인코더 기반 리랭킹은 RAG 기반 맥락 검색에서 상대적으로 우수한 성능을 보임을 확인하였다. 마지막으로 혼합 연구 방법을 통해 수행된 사용자 조사 결과, 참여자들은 시스템에 대해 높은 수준의 신뢰도와 명확성을 보고하였으며, 이를 통해 제안된 접근 방식의 교육적 유효성이 확인되었다. 이러한 결과는 검증 가능한 외부 지식과 대규모 언어 모델을 결합한 구조가 교육용 대화형 AI 설계에서 중요한 역할을 수행할 수 있음을 시사하며, 대화형 AI의 기술적 가능성과 언어 교육에서 요구되는 신뢰성 간의 간극을 완화할 수 있음을 보여준다.

번역하기

한국 문화에 대한 전 세계적 확산은 특히 러시아어 사용자를 중심으로 한국어 학습 수요를 급격히 증가시켰다. 그러나 기존의 한국어 학습 자원은 상호작용성과 신뢰성을 동시에 충족하지 ...

목차 (Table of Contents)