메타버스 환경에서 LLM-RAG를 활용한 오답 기반 맞춤형 학습 시스템의 설계 및 구현 = Design and Implementation of an Error-Based Personalized Learning System Using LLM-RAG in a Metaverse Environment

국문 초록 (Abstract)

AI의 급격한 발전과 함께 디지털 대전환 시대를 맞이하여 교육 패러다임이 학습자 중심의 맞춤형 경험 및 상호작용 교육으로 변화함에 따라 시공간의 제약을 극복한 메타버스(Metaverse)와 대규모 언어 모델(LLM)이 융합된 교육 시스템이 주목받고 있다. 그러나 기존의 대학 교육에서 메타버스 활용은 학생들의 흥미 유발과 마케팅 목적의 일회성 행사에 집중되는 경향을 보인다. 또한 교육 분야에서 LLM의 활용은 단발성 문제 생성이나 피드백 제공 수준에 그치며 사실과 다른 정보를 생성하는 환각(Hallucination)을 보이는 한계가 있었다. 이에 본 연구는 메타버스 환경 내에서 LLM과 검색 증강 생성(RAG) 기술을 결합하여 학습자의 오답 데이터를 실시간으로 분석하고 이를 기반으로 오개념을 교정하는 오답 기반 문제를 제공하는 지능형 튜터링 시스템 ‘MetaReLearn AI’를 제안하였다.
본 시스템은 PDF 학습 자료와 학습 주제, 문제 유형, 문항 수 등 설정 변수를 입력 받아 LLM·RAG를 통해 학습자 맞춤형 문제를 생성한다. 특히 학습자가 개념을 완전히 이해할 때까지 반복적인 교정 학습을 유도는 ‘순환적 재학습 루프(Iterative Re-learning Loop)’는 시스템의 핵심 메커니즘으로 진단-보완-재점검 흐름의 교육 프로세스를 제공하며, AI 튜터는 STT(Speech-to-Text),TTS(Text-to-Speech)을 통해 텍스트와 음성을 동시에 제공하는 멀티모달 상호작용을 지원한다. 본 연구는 소프트웨어 공학 도메인의 실증 실험을 통해 제안된 시스템의 기술적 성능과 교육적 타당성을 검증하였다. 첫째, 생성된 문항은 학습 자료와 평균 0.878의 높은 코사인 유사도(Cosine Similarity)를 보여 높은 문맥 반영도를 입증하였다. 둘째, 시스템 성능 평가에서 평균 3.24초의 종단 간 지연 시간(End-to-End Latency)과 평균 72.4FPS의 그래픽 안정성을 입증하였으며 문항 세트당(10문항) 생성 시간은 평균 23초 이내로 측정되어 학습 흐름을 방해하지 않는 실시간성을 확보하였다. 셋째, 컴퓨터 공학 및 교육 분야의 교수 6인으로 구성된 전문가 평가에서 생성 문항의 관련성, 정확성 등 모든 항목에서 긍정적인 평가를 받으며 시스템이 학습 보조 도구로서의 타당하고 효과적임을 확인하였다. 넷째, 컴퓨터 교육 및 공학을 전공한 대학생 및 대학원생 17인을 대상으로 수행한 사용자 평가 결과 기술 수용도와 메타버스 경험, 교육 유용성 항목에서 모두 높은 평가를 받았으며, 맞춤형 문항과 오답 기반 후속 문항을 통한 학습 도움과 메타버스 환경에서의 교육을 통한 몰입감과 흥미를 확인할 수 있었다
결론적으로 본 연구는 메타버스 환경에서 LLM·RAG를 결합한 적응형 학습을 성공적으로 통합함으로써 기존 이러닝 시스템의 한계를 넘어 실재감 있는 몰입형 학습과 개인화된 오답 교정 튜터링을 동시에 제공하는 새로운 교육 플랫폼을 제시하였다는 데 의의가 있다.

다국어 초록 (Multilingual Abstract)

With the rapid advancement of AI and the advent of the digital transformation era, the educational paradigm is shifting toward learner-centered, personalized experiences and interactive learning. As such, educational systems that integrate the Metaverse and Large Language Models (LLMs), which overcome spatial and temporal constraints, are attracting attention. However, in traditional university education, the use of the Metaverse tends to focus on one-off events aimed at stimulating student interest and marketing. Furthermore, the use of LLMs in education has been limited to generating one-off questions or providing feedback, and has been prone to hallucinations, generating inaccurate information. In response, this study proposed "MetaReLearn AI" an intelligent tutoring system that combines LLMs and Retrieval-Augmented Generation (RAG) technology within a metaverse environment. This system analyzes learners' error data in real-time and provides error-based questions that correct misconceptions.
This system receives PDF learning materials and configuration variables such as the learning topic, question type, and number of questions, and generates learner-tailored questions using LLMs and RAG. In particular, the ‘Iterative Re-learning Loop,’ which induces repeated corrective learning until the learner fully understands the concept, is the core mechanism of the system, providing a diagnostic-supplementary-recheck workflow. Additionally, the AI tutor supports multimodal interaction by providing text and voice simultaneously through STT (Speech-to-Text) and TTS (Text-to-Speech).
This study verified the technical performance and educational validity of the proposed system through empirical experiments in the software engineering domain. First, the generated questions showed a high cosine similarity of 0.878 with the learning material, demonstrating a high degree of contextual reflection. Second, in the system performance evaluation, the average end-to-end latency of 3.24 seconds and the average graphic stability of 72.4 FPS were proved, and the generation time per question set (10 questions) was measured within 23 seconds on average to secure real-time performance that did not interfere with the learning flow. Third, in the expert evaluation consisting of six professors in computer engineering and education, all items such as the relevance and accuracy of the generated questions were positively evaluated, and the system was confirmed to be valid and effective as a learning aid tool. Fourth, as a result of user evaluation conducted on 17 college and graduate students majoring in computer education and engineering, it was highly evaluated in terms of technology acceptance, metaverse experience, and educational usefulness, and it was possible to confirm the sense of immersion and interest through learning help through customized and incorrect answer-based follow-up questions and education in a metaverse environment
In conclusion, this study is meaningful in that it presented a new educational platform that simultaneously provides realistic immersive learning and personalized incorrect answer correction tutoring beyond the limitations of existing e-learning systems by successfully integrating adaptive learning combining LLM and RAG in a metaverse environment.

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1. 연구의 배경 및 필요성 1
• 2. 연구의 목적 5
• 3. 연구의 문제 및 연구 가설 7
• 4. 연구 배경 및 제한점 8
• 5. 용어의 정의 10
• Ⅱ. 이론적 배경 12
• 1. 메타버스 기반 교육 시스템 12
• 2. LLM의 교육적 활용 16
• 3. RAG 18
• 4. 오답 기반 학습과 피드백 20
• Ⅲ. 제안된 시스템 24
• 1. MetaReLearn AI 시스템 개요 24
• 2. MetaReLearn AI 시스템 개발 27
• 3. MetaReLearn AI 시스템 구현 결과 46
• Ⅳ. 연구 방법 56
• 1. 문맥 반영도 평가 56
• 2. 시스템 성능 평가 58
• 3. 전문가 평가 60
• 4. 사용자 평가 62
• Ⅴ. 연구 결과 64
• 1. 문맥 반영도 평가 결과 64
• 2. 시스템 성능 평가 결과 67
• 3. 전문가 평가 결과 75
• 4. 사용자 평가 결과 81
• Ⅵ. 결론 88
• 1. 연구결과 해석 및 요약 88
• 2. 시사점 92
• 3. 연구의 한계 및 향후 연구과제 94
• 국문초록 97
• ABSTRACT 99
• REFERENCES 103
• 부록 설문지 110