System cold-start knowledge tracing using LLMs

다국어 초록 (Multilingual Abstract)

Knowledge tracing (KT) is an educational binary prediction task that predicts future performance of students based on their given information of the students and the questions. KT processes data collected from web-based Intelligent Tutoring Systems (ITSs) or offline tests to predict whether future students will answer questions correctly. Previous works on KT have focused mainly on making performance predictions based on sufficient past interaction records from existing students. Also, recent attempts have been made to build KT systems in few-shot settings where little data of the target student is provided in advance. In these tasks, the predictions are mainly done based on the traditional cold-start settings, where minimal data is presented. However, there were relatively fewer attempts to increase KT performance in a situation where the entire interaction records between students and questions are not given, which is defined as system cold-start settings. Meanwhile, there have been attempts to utilize Large Language Models (LLMs) as information providers, inference machines, and probability machines to empower recommendations. In this context, we present System Cold-Start Knowledge Tracing (SCSKT) framework that extends the KT task to system cold-start settings, utilizing the inherent abilities of LLMs. First, an LLM as an information provider takes the information of a student and a question as input and performs a feature selection process, preserving important unit features by ranking. Then, an LLM as an inference machine takes the unit features as input and performs a feature rearrangement based on pedagogical assumptions. Lastly, an LLM as a probability machine takes the unit features as input and performs a binary prediction on whether the student will solve the given question under given conditions. To evaluate our framework, we utilize three real-world datasets from web-based online ITS platforms and government-hosted offline tests for experiments. The experiment shows increased performance of our framework compared to the existing baselines. To the best of our knowledge, SCSKT is the first knowledge tracing framework that utilizes LLM to enhance performance in system cold-start settings, providing smooth first interactions between the various types of educational questions and the students.

국문 초록 (Abstract)

지식 추적(knowledge tracing, KT)은 학습자과 문제에 대해 주어진 정보를 바탕으로 학습자의 미래 성취를 예측하는 교육 분야의 이진 분류 문제이다. 지식 추적은 웹 기반 지능형 튜터링 시스템(ITS) 또는 오프라인 시험에서 수집한 데이터를 처리하여 미래에 학습자이 문제에 올바르게 답할지 예측한다. 지금까지의 지식 추적에 대한 연구는 주로 기존 학습자의 충분한 과거 상호작용 기록을 바탕으로 성취도를 예측하는 데 초점을 맞추었다. 또한, 최근에는 특정 학습자에 대한 최소한의 데이터가 제공되는 콜드 스타트(cold-start) 환경에서 지식 추적 시스템을 구축하려는 시도가 있었다. 이때 예측은 주로 기존 데이터셋에서 존재하는 학습자의 과거 상호작용 기록을 기반으로 하는 콜드 스타트(cold-start) 환경을 기반으로 수행하였다. 그러나 학습자과 문제 간의 모든 상호작용 기록을 제공하지 않는 시스템 콜드 스타트(system cold start) 환경에서 지식 추적 성능을 향상시키려는 시도는 상대적으로 적었다. 한편, 대규모 언어 모델(Large Language Models, LLM)을 정보 제공자, 추론 기계 및 확률 기계로 활용하여 추천을 강화하려는 시도가 있었다. 이러한 맥락에서 대규모 언어 모델의 고유한 능력을 활용하여 지식 추적 과제를 시스템 콜드 스타트 환경으로 확장하는 SCSKT(System Cold-Start Knowledge Tracing) 프레임워크를 제시한다. 먼저, 정보 제공자 역할을 하는 대규모 언어 모델은 학습자와 문제 정보를 입력으로 받아 특성 선택 과정을 수행하며, 중요한 단위 특성을 순위의 형태로 보존한다. 다음으로, 추론 기계 역할을 하는 대규모 언어 모델은 단위 특성을 입력으로 받아 교육학적 가정을 바탕으로 단위 특성을 재배열한다. 마지막으로, 확률 기계 역할을 하는 대규모 언어 모델은 단위 특성을 입력으로 받아 학습자이 주어진 조건에서 주어진 문제를 풀 것인지에 대한 이진 예측을 수행한다. 본 프레임워크를 평가하기 위해 세 종류의 웹 기반 지능형 튜터링 시스템의 실제 데이터셋과 정부에서 주최한 오프라인 시험 데이터셋을 활용하여 실험을 수행한다. 실험에서 우리의 프레임워크는 비교군보다 더 나은 성능을 보인다. 우리가 아는 한, SCSKT는 대규모 언어 모델을 활용하여 시스템 콜드 스타트 환경에서의 성과를 향상시키고 다양한 유형의 교육 시험과 학습자 간의 원활한 첫 상호작용을 제공하는 첫 지식 추적 프레임워크이다.

목차 (Table of Contents)

• Chapter 1. INTRODUCTION 1
• 1.1 Overview 1
• 1.2 Contributions 5
• Chapter 2. RELATED WORK 7
• 2.1 Knowledge Tracing 7
• 2.2 Cold-Start Settings in Recommender Systems 8
• 2.3 Large Language Models 9
• 2.4 Language Models on Knowledge Tracing 10
• 2.5 Development of Early Learners 11
• Chapter 3. METHODOLOGY 12
• 3.1 Feature Selection 12
• 3.2 Feature Rearrangement 15
• 3.3 Binary Prediction and Majority Voting 17
• Chapter 4. EXPERIMENTS 19
• 4.1 Datasets 19
• 4.2 Baselines 21
• 4.3 Experimental Setup 21
• 4.4 Performance 22
• Chapter 5. DISCUSSION AND SUMMARY 25
• 5.1 Discussion 25
• 5.2 Summary 26
• References 27
• Korean Abstract 37