The effect of metacognitive prompt using generative AI on cognitive load, academic performance, and academic self-efficacy in online self-regulated learning = 온라인 자기조절학습에서 생성형 인공지능을 활용한 메타인지 프롬프트가 학습자의 인지부하, 학업성과, 학업적 자기효능감에 미치는 영향

다국어 초록 (Multilingual Abstract)

Self-regulated learning is essential to academic success, especially in online environments, where learners are expected to self-manage large amounts of information and take control of their learning process. Learners who struggle with self-regulated learning experience cognitive load during this process, which can lead to decreased academic self-efficacy and academic performance. One strategy to support them, metacognitive prompts, has been shown to be effective in helping them reflect and regulate their learning process. However, there are still many challenges in integrating them into the classroom. Recent advances in generative artificial intelligence offer the possibility of easily integrating metacognitive prompts into online learning, but empirical studies validating their effectiveness are scarce. Therefore, this study aims to explore the effects of metacognitive prompts using generative AI on learners' cognitive load, academic self-efficacy, and academic performance.
The present study used an experimental design to investigate how metacognitive prompts affect learners’ cognitive load, academic performance, and academic self-efficacy. For this study, ChatGPT was customized using the GPTs feature that allows to create a customized ChatGPT tailored to personal needs. A total of 40 undergraduate and graduate students in South Korea participated, and they were divided into two groups. Students in the experimental group (n=20) received metacognitive prompts by ChatGPT, while the comparison group (n=20) only used ChatGPT without prompts.
Prior to the experiment, all students conducted a pre-survey on academic self-efficacy. The experiment consisted of two sessions, which followed identical procedures. During each session, all students watched a 30-minute video lecture on Python programming. After, students received a programming problem-solving task relevant to the video lecture, where each group used ChatGPT with or without metacognitive prompts. Participants completed a cognitive load survey and took an immediate test upon finishing the given task. Students took a retention test a week after each experiment session. Two sessions varied in task difficulty, with the first having a low-level task and the second having a high-level task. After the end of the second session, all students answered a post-survey on academic self-efficacy, marking the end of the experiment.
The present study collected self-reported surveys on cognitive load and academic self-efficacy and used immediate and retention test scores to measure academic performance. Conversation logs with ChatGPT from all participants were also collected to investigate the problem-solving process and to explore further how these processes affected the academic performance of the participants. The collected data were analyzed using the Mann-Whitney U test, Aligned Rank Transform Test, and Chi-Square test. An Aligned Rank Transform (ART) test was performed to determine whether there were differences in cognitive load scores between groups based on task difficulty and the presence of metacognitive prompts. Also, an ART test was conducted to examine whether there was a difference in pre-post academic self-efficacy scores within and between groups. A Mann-Whitney U test was conducted to see if there are differences between groups in academic performance. Finally, conversation logs with ChatGPT were coded into the four stages of the problem-solving framework of Carlson and Bloom (2005), and a Chi-square test was run to see if there was a difference in the problem-solving process between groups.
The results show that the experimental group scored lower on cognitive load than their counterparts, but the difference between groups and task difficulty in cognitive load across sessions was not statistically significant. For academic performance, participants who received metacognitive prompts scored higher than those who did not, but the difference was not statistically significant. Both groups reported increased academic self-efficacy after the experiment, with the group with metacognitive prompts leading to higher post-test scores. However, the interaction effect was not statistically significant. On the other hand, there was a meaningful difference in problem-solving processes. The experimental group engaged evenly across all phases of ‘Orientation’, ‘Planning’, ‘Execution’, and ‘Checking’. In contrast, the comparison group mostly engaged in ‘Orientation’, where they acquired conceptual knowledge for problem-solving, and was overly dependent on ChatGPT's responses, showing less balanced engagement. These findings suggest that metacognitive prompts can support learners' self-regulatory processes by helping them stay productive during the problem-solving process, which can alleviate cognitive load, improve academic performance, and build confidence in their abilities in this process. Despite these findings, the lack of statistically significant between-group differences highlights the need for further research with larger sample sizes and in different contexts to better understand the potential for integrating metacognitive prompts and generative AI.

국문 초록 (Abstract)

자기조절학습은 학업 성공에 필수적인 요소로, 특히 온라인 환경에서는 학습자가 방대한 정보를 스스로 관리하며 학습 과정을 주도적으로 운영해야 한다는 점에서 그 중요성이 더욱 강조된다. 자기조절학습에 어려움을 겪는 학습자는 이러한 과정에서 인지적 부하를 겪고, 이로 인해 학업적 자기효능감과 학업성과가 저하될 수 있다. 이들을 지원하기 위한 자기조절학습전략 중 하나인 메타인지 프롬프트는 학습 과정을 반추하고 조절하도록 돕는 데 효과적임이 밝혀졌으나, 이를 교육 현장에 통합하는 과정에는 여전히 많은 어려움이 존재한다. 최근 생성형 인공지능의 발전은 메타인지 프롬프트를 온라인 학습에 쉽게 통합할 수 있는 가능성을 제시하지만, 그 효과성을 검증하는 실증적 연구는 매우 적은 실정이다. 이에 본 연구는 생성형 인공지능과 결합된 메타인지 프롬프트가 학습자의 인지부하, 학업적 자기효능감, 그리고 학업성과에 미치는 영향을 탐구하고자 하였다.
본 연구는 실험연구로서, 메타인지 프롬프트가 학습자의 인지 부하, 학업 성취, 학업 자기효능감에 미치는 영향을 조사하였다. 본 연구를 위해 ChatGPT의 GPTs 기능을 활용해 메타인지 프롬프트가 결합된 챗봇을 개발하였다. 서울 소재 대학에 재학 중인 40명의 학생들을 대상으로 실험을 진행하였으며, 실험군(n=20)은 메타인지 프롬프트를 제공받고 비교군(n=20)은 메타인지 프롬프트 없이 ChatGPT를 사용하였다. 실험 수행 전, 모든 참여자들은 학업적 자기효능감에 대한 사전 설문을 진행하였다. 실험은 동일한 절차로 이루어진 두 회기로 구성되었으며, 각 세션에서 30분 분량의 파이썬 프로그래밍 동영상 강의를 시청하는 방식으로 진행되었다. 이후 학생들은 강의와 관련된 프로그래밍 문제 해결 과제를 받았으며, 해당 과정에서 메타인지 프롬프트가 결합된 ChatGPT 또는 결합되지 않은 ChatGPT를 사용하였다. 참여자들은 주어진 과제를 완료한 후 인지부하 설문에 응답하였고, 즉각 시험을 수행하였다. 참여자들은 각 실험 회기 종료 이후 1주일 뒤에 파지 시험에 참여하였다. 1회기 실험은 낮은 난이도의 과제로 구성되었고, 2회기 실험은 높은 난이도의 과제로 구성되었다. 2회기 실험 종료 후 모든 참여자는 학업적 자기효능감에 대한 사후 설문을 작성하였다.
본 연구는 인지부하와 학업적 자기효능감에 대한 자기보고식 설문과 즉각 시험과 파지 시험을 통해 학업 성취를 측정하였다. 또한, 모든 참여자의 ChatGPT 대화 로그를 수집하여 문제 해결 과정을 탐색하고 이러한 과정이 참여자들이 경험한 인지부하에 어떠한 영향을 미쳤는지 추가로 탐구하였다. 수집된 데이터는 Mann-Whitney U 검정, Aligned Rank Transform Test, 그리고 Chi-Square Test를 통해 분석되었다. Aligned Rank Transform(ART) 검정은 과제 난이도와 메타인지 프롬프트 제공 여부에 따른 인지부하 점수의 차이를 결정하기 위해 수행되었다. 또한, ART 검정을 통해 그룹 간 및 그룹 내 사전-사후 학업적 자기효능감 점수의 차이를 확인하였다. Mann-Whitney U 검정은 그룹 간 학업 성취도 차이를 확인하기 위해 수행되었다. 마지막으로 ChatGPT 대화 로그를 Carlson과 Bloom(2005)의 문제 해결 프레임워크의 네 단계인 ‘탐색(Orientation)’, ‘계획(Planning)’, ‘실행(Execution)’, ‘검토(Checking)’를 바탕으로 코딩하였으며, Chi-Square Test를 통해 두 그룹 간 문제 해결 과정의 차이를 확인하였다.
연구 결과, 실험군은 비교군에 비해 인지부하 점수가 낮았으나, 과제 난이도와 실험 회기 간 인지부하의 차이는 통계적으로 유의미하지 않았다. 학업 성취의 경우, 실험군에 속한 참가자들이 더 높은 점수를 기록했으나, 이 또한 통계적으로 유의미하지 않았다. 두 그룹 모두 실험 후 학업적 자기효능감이 증가했으며, 실험군의 사후 점수가 더 높았으나 상호작용 효과는 통계적으로 유의미하지 않았다. 반면, 문제 해결 과정에서는 유의미한 차이가 나타났다. 실험군은 ‘탐색’, ‘계획’, ‘실행’, ‘검토’ 단계에 고르게 참여한 반면, 비교군은 주로 ‘탐색’ 단계에만 집중하며 ChatGPT의 응답에 과도하게 의존하는 경향을 보였다. 이러한 결과는 메타인지 프롬프트가 학습자의 자기조절 과정을 지원하여 문제 해결 과정에서 능동성과 생산성을 유지하도록 돕는 데 효과적임을 시사한다. 이를 통해 학습자는 인지 부하를 완화하고 학업 성취를 향상하며, 자신의 능력에 대한 자신감을 구축할 수 있다. 다만, 본 연구는 비교적 작은 표본을 대상으로 진행한 연구로, 큰 표본과 다양한 학습 맥락에서 메타인지 프롬프트와 생성형 AI 통합의 효과를 검증하기 위한 후속연구가 이루어질 필요가 있다.

목차 (Table of Contents)

• ABSTRACT i
• 국문 초록 iv
• TABLE OF CONTENTS vii
• LIST OF TABLES ix
• LIST OF FIGURES x
• CHAPTER 1. INTRODUCTION 1
• CHAPTER 2. THEORETICAL BACKGROUND 4
• 2.1 Online Self-Regulated Learning 4
• 2.1.1 Key Concepts of Self-Regulated Learning 4
• 2.1.2 Online Self-Regulated Learning 6
• 2.1.3 Self-Regulated Learning Strategies 8
• 2.2 Metacognition 10
• 2.2.1 Concept of Metacognition 10
• 2.2.2 Metacognitive Prompts in Self-Regulated Learning 11
• 2.3 Cognitive Load 13
• 2.3.1 Cognitive Load Theory 13
• 2.3.2 Cognitive Load in Self-Regulated Learning 14
• 2.4 Academic Self-Efficacy 15
• 2.4.1 Concept of Academic Self-Efficacy 15
• 2.4.2 Academic Self-Efficacy and Self-Regulated Learning 16
• 2.5 Metacognitive Prompts and Cognitive and Affective variables 16
• 2.5.1 Metacognitive Prompts and Cognitive Load 16
• 2.5.2 Metacognitive Prompts and Academic Self-Efficacy 18
• 2.5.3 Metacognitive Prompts and Academic Performance 19
• 2.6 ChatGPT for Metacognitive Prompts 20
• 2.6.1 ChatGPT as an Emerging Technology for Education 20
• 2.6.2 Integrating Metacognitive Prompts into ChatGPT 21
• 2.7 Purpose of the Study 22
• CHAPTER 3. METHODS 24
• 3.1 Participants 24
• 3.2 Research Design 25
• 3.3 Measures 28
• 3.4 Procedure 32
• 3.5 Data Analysis 34
• CHAPTER 4. RESULTS 35
• 4.1 Descriptive Statistics 35
• 4.2 Test of Homogeneity 37
• 4.3 Differences in Cognitive Load 38
• 4.4 Differences in Academic Performance 38
• 4.5 Differences in Problem-Solving Process 40
• 4.6 Differences in Academic Self-Efficacy 42
• CHAPTER 5. DISCUSSION 43
• REFERENCES 49
• APPENDICES 60
• A. Rubric for Immediate Test 60
• B. Immediate Test 61
• C. Retention Test 62
• D. Questionnaire 67
• E. Miscellaneous Material for Experiments 70