TutorAgent:BKTransformer 기반 지식 추적과 Agentic GraphRAG를 통한 맞춤형 피드백 생성 = TutorAgent:Personalized Feedback Generation via BKTransformer-based Knowledge Tracing and Agentic GraphRAG

다국어 초록 (Multilingual Abstract)

The adoption of artificial intelligence in education has shown substantial potential for enhancing learning efficiency. In particular, large language models (LLMs) such as ChatGPT and Gemini are expected to significantly improve educational tasks formulated in natural language, including the provision of personalized feedback to students. However, these models still face limitations such as hallucinations, inaccuracies in training data, and a lack of transparency in their reasoning processes. To address these issues, this study proposes TutorAgent, a personalized feedback generation system that integrates an enhanced BKTransformer model with an Agentic GraphRAG framework. TutorAgent consists of two major components: analysis of students’ learning histories using a Knowledge Tracing (KT) model, and LLM’s geneartion of feedbacks based on the analysis of the KT model. For the KT component, we employ BKTransformer with RoPE, which incorporates Rotary Position Embeddings(RoPE) into the BKTransformer proposed in previous research. Unlike conventional KT models that merely predict student response correctness, BKTransformer with RoPE explicitly estimates the four interpretable parameters of Bayesian Knowledge Tracing (BKT), thereby enabling a more transparent interpretation of learners’ knowledge states. The natural language feedback generation is handled by two LLM agents. The diagnostic agent interprets the BKT parameters produced by BKTransformer with RoPE and generates a structured diagnosis of a student’s changing knowledge states. The feedback agent then performs GraphRAG on a given knowledge graph using this diagnosis and produces personalized feedbacks. We evaluate both key components—the KT model and LLM agents. Using publicly available datasets, including a large-scale learning history dataset from Icecream Edu on AI-Hub, BKTransformer with RoPE demonstrates an approximate 1% AUC improvement over the original BKTransformer. To assess the quality of generated feedback, we compare the Agentic GraphRAG approach—which distributes tasks across two LLMs—with a single-LLM approach that simultaneously performs the retrieval and feedback generation from the knowledge graph. The results show that Agentic GraphRAG achieves substantially higher performance in both answer faithfulness and context relevance, indicating more accurate retrieval and feedback generation. The knowledge graph used in the evaluation also originates from AI-Hub’s Korean curriculum–based knowledge graph dataset. This study represents the first attempt to integrate a BKT-based deep learning model with GraphRAG using Korean educational data.

국문 초록 (Abstract)

교육 분야에서 인공지능의 도입은 학습 효율성 향상에 있어 상당한 잠재력을 보여주고 있다. 특히 ChatGPT나 Gemini와 같은 Large Language Model(LLM)의 등장은 학생에 대한 피드백 제공 등 자연어로 이루어지던 교육 활동의 효율성을 획기적으로 개선할 것으로 기대된다. 그러나 이러한 LLM들은 환각(hallucination) 현상,부정확한 훈련 데이터, 추론 과정에 대한 설명 부재라는 한계에 직면해 있다. 본 연구에서는 이러한 한계를 극복하기 위해, 향상된 BKTransformer 모델과 Agentic GraphRAG 방식을 결합한 개인 학습 피드백 생성 시스템인 TutorAgent를 제안한다. TutorAgent는 Knowledge Tracing(KT) 모델을 활용한 학생의 학습 이력 분석, 그리고 그 분석 결과에 기반한 LLM의 자연어 피드백 생성의 두 단계로 구성되어 있다. 먼저 KT 모델을 활용한 학습 이력 분석에서는 관련 선행 연구에서 제안된 BKTransformer 모델에 Rotary Position Embedding(RoPE)을 통합한 BKTransformer with RoPE를 사용한다. 기존의 KT 모델이 단순히 학생의 정답 여부를 예측하는 데 그쳤던 것과 달리, 본 모델은 Bayesian Knowledge Tracing(BKT)의 해석 가능한 4가지 파라미터를 명시적으로 산출함으로써 학습자의 지식 상태를 해석할 수 있게 한다. 자연어 피드백 생성 부분은 두 개의 LLM 에이전트가 담당한다. 먼저 진단 에이전트가 BKTransformer with RoPE로부터 추출된 BKT 파라미터를 해석하여 학생의 학습 과정에 대한 구조화된 진단을 자연어로 산출한다. 이어서 피드백 에이전트는 이 진단 정보를 바탕으로 주어진 지식 그래프(Knowledge Graph)에 대해 GraphRAG를 수행한 후, 개인화된 피드백을 생성한다. 본 연구의 평가는 KT 모델과 LLM 에이전트 두 구성 요소 모두에 대해 수행되었다. KT 모델 관련해서는 AI-Hub에 게시된 아이스크림에듀 사의 대규모 학습 이력 데이터셋을 포함한 공개 데이터셋에서 BKTransformer with RoPE가 기존 BKTransformer 대비 약 1%의 AUC 향상을 보임을 확인하였다. 또한 생성된 자연어 피드백 품질의 평가를 위해, 두 LLM 사이에 업무를 분리한 에어전트 기반 구조와 단일 LLM이 지식 그래프에서의 개념 추출 및 피드백 생성을 동시에 수행하는 구조의 결과물을 비교하였다. 그 결과, TutorAgent를 구성하는 에이전트 기반 구조가 응답 충실도(Faithfulness)와 검색 적합도(Context Relevance)의 측면에서 더 정확한 개념 추출과 피드백 생성을 수행함을 확인하였다. 지식 그래프 또한 AI-Hub에 게시된 한국의 교육 과정 기반 데이터를 사용되었다. 본 연구는 한국 고유의 교육 데이터에 BKT 기반 딥러닝 모델과 GraphRAG를 시도한 최초의 사례이다.

목차 (Table of Contents)

• 1. 서론 1
• 2. 관련 연구 3
• 2.1 지식 추적 모델 3
• 2.2 RAG 3
• 3. 방법론 5
• 3.1 BKTransformer with RoPE 5
• 3.2 Agentic GraphRAG 기반 피드백 생성 8
• 3.2.1 지식 그래프 8
• 3.2.2 진단 에이전트 9
• 3.2.3 피드백 에이전트 11
• 4. 실험 15
• 4.1 BKTransformer with RoPE 성능 평가 15
• 4.1.1 KT 데이터셋 15
• 4.1.2 KT 실험 설정 16
• 4.1.3 KT 실험 결과 17
• 4.2 Agentic GraphRAG 기반 피드백 생성 실험 17
• 4.2.1 피드백 생성 실험 설정 18
• 4.2.2 피드백 품질의 비교 19
• 4.2.2.1 검색 적합도 19
• 4.2.2.2 응답 충실도 20
• 4.2.2.3 비교 결과 21
• 5. 결론 22
• 참고문헌 23
• 영문초록 26
• 감사문 28