생성형 AI와 함께하는 미래교육: 기계에서 협력 파트너로

조영환 ( Young Hoan Cho ),이지은 ( Jieun Lee ),임규연 ( Kyu Yon Lim ),정한호 ( Hanho Jeong ),한인숙 ( Insook Han ) 한국교육공학회 2023 교육공학연구 Vol.39 No.0

Forecasts for the future of education involving generative AI evoke both optimism and apprehension. Although generative AI, exemplified by ChatGPT, demonstrates exceptional performance, the educational implications and roles of generative AI remain underexplored. Constraining generative AI to a mere machine hinders the full utilization of its potential and educational affordances. This study explored the educational implications of generative AI, analyzing its key characteristics within educational contexts. The research redefined generative AI as a collaborative partner, exploring human -AI collaboration through the lens of actor-network theory. Building on these insights, this study presented specific strategies for utilizing generative AI as a collaborative partner in education, encompassing educational purposes, learning activities, and the evolving role of instructors. Acknowledging the potential tensions and conflicts arising from integrating generative AI into education, this study identified five educational issues crucial for the coevolution of generative AI and education. This research invites reflection on educational perspectives regarding generative AI, fostering discussions on its educational usage for the future.

학습분석 기반 적응적 협력학습 지원에 대한 학습자의 인식

조영환 ( Young Hoan Cho ),김관훈 ( Kwan Hoon Kim ),한정윤 ( Jeong Yun Han ) 한국교육정보미디어학회(구 한국교육정보방송학회) 2019 교육정보미디어연구 Vol.25 No.1

과거에 없었던 복잡하고 역동적인 문제의 등장으로 협력의 중요성이 강조되고 있음에도 불구하고, 많은 학습자들이 협력학습에 어려움을 겪거나 다른 학습자와의 상호작용에 소극적으로 참여하고 있다. 본 연구에서는 협력학습의 효과를 증진시키기 위해서 학습분석에 기반한 적응적 협력학습 지원방법을 개발하고 그 효과와 개선점에 대한 학습자의 인식을 탐색하고자 한다. 총 89명의 대학생이 2회에 걸쳐 대형 강의실에서 협력적 논변 활동에 참여하였으며, 학습분석 기반의 대시보드와 교수자를 통해 협력학습을 적응적으로 지원하였다. 학습자용 대시보드는 학습자들이 그룹의 협력학습 과정을 점검하고 학습자 간 상호작용을 향상시킬 수 있도록 적응적인 피드백과 안내를 제공하였으며, 교수자용 대시보드는 전체 그룹의 협력학습 상황을 직관적으로 파악할 수 있도록 시각적 정보를 실시간으로 제공함으로써 교수자의 적응적 협력학습 지원을 촉진하였다. 학습자 면담과 설문조사 결과, 학습분석 기반의 적응적 협력학습 지원이 학습자의 참여, 공유정신모형 및 그룹조절, 학습자 간 상호작용, 논변의 질에 긍정적인 영향을 미친 것으로 나타났다. 그러나 구체적인 피드백의 제공, 자기보고식 데이터의 제한점 극복, 심리적 부담감 감소 및 학습자의 자율성 증진이 주요한 개선점으로 제시되었다. 그리고 협력학습 과정에 있어서 저성취 그룹은 고성취 그룹에 비해서 그룹원의 불성실한 참여, 피상적인 상호작용, 그룹조절에 대한 부정적 태도, 시간 관리의 문제를 더 많이 겪는 것으로 나타났다. 향후 역동적으로 변화하는 학습자와 그룹의 요구를 효과적으로 반영할 수 있도록 적응적 협력학습 지원에 대한 연구가 더 활발하게 이루어질 필요가 있다. Despite the importance of collaborative learning, many students have difficulty in collaborating with peers and passively participate in group work. To enhance the effectiveness of collaborative learning, this study intended to develop adaptive collaborative learning supports based on learning analytics and to investigate how students perceive the effectiveness and weakness of the adaptive supports. In this study, a total of 89 undergraduates participated in collaborative argumentation as part of their coursework in a classroom for two weeks. The students and an instructor received information, feedback, and guides about collaborative learning in real time via a dashboard, which used learning analytics in order to analyze argumentation activities in a group. The adaptive collaborative learning support was effective in improving student participation, shared mental models and group regulation, interaction between students, and the quality of argumentation. However, students perceived that more attention should be paid to providing specific feedback, overcoming the limitation of self-reported data, reducing psychological pressure, and supporting student autonomy. In addition, this study found that lower-achieving groups encountered more challenges like passive participation, superficial interaction, negative attitudes toward group regulation, and inefficient time management than higher-achieving groups. More research is necessary to design a learning environment that adaptively supports collaborative learning through continuously analyzing the needs of an individual and a group, which keep changing dynamically.

예비교사를 위한 3차원 가상세계 역할놀이에서 학습자 간 상호작용에 관한 탐색적 연구

조영환 ( Young Hoan Cho ),홍서연 ( Seo Yon Hong ),이정은 ( Jung Eun Lee ) 한국교육정보미디어학회(구 한국교육정보방송학회) 2014 교육정보미디어연구 Vol.20 No.1

3차원 가상세계는 실제와 매우 유사한 제공하며, 사용자가 아바타를 이용하여 가상세계 속의 다른 아바타 혹은 사물과 다양한 방식으로 상호작용을 할 수 있다. 이러한 특성으로 인해서 교사 교육을 비롯한 다양한 분야에서 가상세계를 역할놀이(role play)를 위한 공간으로 사용하고 있으나, 가상세계 역할놀이에서 예비교사들이 어떻게 상호작용하는지에 관한 연구는 매우 미홉한 실정이다. 본 연구에서는 가상세계 역할놀이에서 예비교사들의 상호작용 패턴을 탐색적으로 분석하고, 예비교사의 학업성취 및 학습참여에 대한 인식과 상호작용 간의 관련성을 조사하였다. 싱가포르 예비교사 50명이 연구에 참여하였으며, 3차원의 가상교실에서 예비교사들은 교사와 초등학생의 역할을 번갈아 가면서 역할놀이를 수행하였다. 가상세계 역할놀이에서 수집된 문자 기반의 대화내용을 총 1,959개의 의미단 위로 분절한 다음, 인지적, 사회적, 운영적 메시지의 측면에서 분석하였다. 그 결과 가상세계 역할놀이에서 교사와 학생 역할에 따라 상호작용 패턴이 상이하였으며, 예비교사들의 상호작용 메시지가 다른 조원들의 상호작용 메시지와 유의미한 상관관계를 가졌다. 또한, 몇몇 상호작용 메시지는 예비교사의 학습참여 및 학업성취에 대한 인식과 유의미한 상관이 있는 것으로 나타났다. 이상의 연구 결과를 토대로 가상세계 역할놀이에서 상호작용 유형에 대해 논의하였으며, 교수설계 측면에서 가지는 시사점과 추후 연구를 제안하였다. Three-dimensional virtual worlds can provide realistic and immersive environments and enable users to interact with other avatars or virtual objects in a variety of ways. Although virtual worlds have been used for role-playing activities in diverse areas like teacher education, few studies have been conducted to investigate how learners interact with other in the virtual role-play. The purpose of this study is to explore pre-service teachers` interaction patterns in the virtual role-play and the relationships between the interaction patterns and perceptions about learning participation and achievement. Fifty pre-service teachers enrolled in a university in Singapore participated in a virtual role-play where they taught other group members, exchanging the roles of a teacher and elementary school students in a 3D virtual classroom. We analyzed the virtual role-play chat logs in terms of cognitive, social, and coordination messages after segmenting the chat logs into 1,959 units of meanings. This study showed that the interaction patterns in the virtual role-play were varied depending on the roles of a teacher and a student. The interaction messages of participants were also significantly related to those of other group members. In addition, some interaction messages were significantly correlated to the perceptions about learning participation and achievement. Based on these findings, we discussed pre-service teachers` interaction patterns in the virtual role-play and suggested implications for instructional design of the activity and future research.

3차원 가상세계 역할놀이를 통한 초등학교 예비교사의 문제해결력 증진 방안에 관한 사례연구

조영환 ( Young Hoan Cho ),김윤강 ( Yoon Kang Kim ),황매향 ( Mae Hyang Hwang ) 한국교육공학회 2014 교육공학연구 Vol.30 No.1

클라우드 컴퓨팅 기술을 활용한 협력적 문제해결에서 자기조절과 그룹조절 활동 탐색

조영환 ( Young Hoan Cho ),설보연 ( Boyeon Seol ),이현경 ( Hyunkyung Lee ),강다현 ( Dahyun Kang ),조애리 ( Ae Ri Cho ) 한국교육정보미디어학회(구 한국교육정보방송학회) 2017 교육정보미디어연구 Vol.23 No.3

최근 21세기 핵심 역량으로서 협력적 문제해결력에 관한 국내외의 관심이 높아지고 있다. 협력적 문제해결을 성공적으로 수행하기 위해서 그룹의 목표와 전략을 세우고, 문제해결과정을 수시로 점검하고, 계획을 조정하고, 결과에 대해 성찰하는 것이 필요하다. 이러한 조절활동은 개인뿐만 아니라 그룹차원에서 이루어지며 협력적 문제해결 과정에서 매우 중요한 역할을 한다. 그럼에도 불구하고, 많은 학습자들이 조절활동에 주의를 기울이지 않거나 공동으로 의사를 결정하는 데 상당한 어려움을 겪고 있다. 이러한 어려움을 해소하기 위해서 시간과 장소의 제한 없이 협력을 지원하는 클라우드 컴퓨팅(cloud computing) 기술을 유용하게 활용할 수 있다. 이 연구에서는 클라우드 컴퓨팅 어플리케이션이 협력적 문제해결 과정에서 개인과 그룹의 조절활동을 어떻게 지원하는지를 탐색적으로 연구하였다. 서울 소재 대학의 교직과목에서 3-4명의 학생들이 한 조를 이루어서 Quip이라는 클라우드 컴퓨팅 어플리케이션을 활용하여 학교폭력에 관한 문제를 협력적으로 해결하였다. 연구에 참여한 10명의 학습자를 대상으로 면담을 실시한 결과, Quip은 협력적 문제해결 상황에서 실시간 공유, 히스토리 로그기록, 코멘트, 채팅 등의 기능을 통해 개인의 동기와 인지적 조절활동뿐만 아니라 그룹의 인지, 맥락, 사회적 조절활동을 촉진하였다. 자기조절에 있어서 Quip은 개인의 참여도 조절과 신중한 사고 및 표현에 도움을 주었다. 그리고 그룹 조절에 있어서는 공동의 이해 형성, 과제수행을 위한 상호작용, 다른 사람의 수정 돕기, 자료공유, 시공간 관리, 적절한 수준의 거리 유지를 촉진하였다. 이 연구결과는 클라우드 컴퓨팅 기술을 활용하여 협력학습을 촉진하고 분산인지 관점에서 자기조절과 그룹조절을 위한 도구의 역할을 밝히는 데 많은 시사점을 준다. A growing number of studies have considered collaborative problem solving as a 21st century competency. For successful problem solving, groups need to plan their goals and strategies, monitor problem solving processes, modify their initial plan, and reflect on outcomes. These regulation activities, which are conducted at both individual and group levels, play a crucial role in collaborative problem solving. Nevertheless, students seldom pay attention to the regulation activities or have substantial difficulties in jointly making decisions. To address these issues, cloud computing technology can be used in that it helps students interact with each other effectively without the barriers caused by limited time and space. This study explored how cloud computing technology supports self- and group-regulation of collaborative problem solving. Using Quip, a cloud computing application, groups of three to four university students participated in collaboratively solving a problem about cyber school bullying. The interviews with 10 participants showed that Quip had such functions as real-time interaction, synchronization, edit history, comments, and chatting, which were useful for collaborative problem solving. The Quip’s functions facilitated not only self-regulation in regards to motivational and cognitive aspects but also group-regulation in cognitive, contextual, and social aspects. Quip helped learners to keep participating in the group work, engage in deeper thinking, and carefully express their ideas through text messages. In addition, Quip enhanced group-regulation through facilitating awareness of collaboration processes, interaction for group work, reciprocal feedback and support, resource sharing, collaborative management of time and space, and building a social relationship. The findings of this study have many implications in using cloud computing technology for collaborative learning in school and exploring the role of tools in self- and group-regulation from the perspective of distributed cognition.

핵심정보 중심 건강 메시지 디자인을 위한 웹진 내용분석

조영환(Young Hoan Cho),최효선(Hyoseon Choi),유명순(Myoung Soon You) 한국콘텐츠학회 2014 한국콘텐츠학회논문지 Vol.14 No.2

건강 관련 정보들이 범람하는 인터넷에서 핵심정보를 효과적으로 전달하는 것은 매우 중요하다. 본 연구는 웹진 건강자료에 나타난 건강 메시지의 특성을 분석하고 핵심정보를 효과적으로 전달하기 위한 디자인 방법을 모색하고자 하였다. 이를 위해 식품의약품안정처에서 제공하는 총 72개 건강자료의 내용을 텍스트와 시각자료로 구분하여 ‘건강 메시지의 내용’, ‘핵심정보의 빈도와 위치’, ‘직관적 표현’을 중심으로 분석하였고, 특성에 따라 건강자료의 유형을 구분하기 위해 군집분석을 실시하였다. 그 결과 건강 관련 텍스트는 주로 사실과 방법에 관한 내용으로 구성되어 있고, 시각자료는 주로 개념에 집중되어 있는 것으로 나타났다. 그리고 텍스트와 시각자료 모두 핵심정보를 효과적으로 제시하는데 미흡한 점이 발견되었으며, 전문용어와 수량정보에 대한 직관성을 높이기 위한 방법을 모색하는 것이 필요한 것으로 나타났다. 연구결과에 기반하여 인터넷에서 효과적으로 핵심정보 중심의 건강자료를 디자인하기 위해서 고려해야 할 점을 제안하였다. Gist-based message design is essential in the Internet in which a lot of health messages are created and shared constantly. This study intended to identify the characteristics of health messages in a webzine and explore a way to design gist-based health messages. A total of 72 webzine articles published in Korean Ministry of Food and Drug Safety were selected, and text and visual messages of the articles were analyzed in terms of content types, the frequency and position of gists, and intuitive expression. The articles were also categorized regarding the characteristics of health messages through cluster analyses. This study found that most texts of the health articles consisted of facts and methods, while most visual messages represented concepts. In addition, both text and visual messages had limitations in presenting a gist effectively. It was also necessary to explore an effective way to improve an intuitive understanding of jargon and quantitative information in health messages. Based on these findings, this study provided suggestions for the design of gist-based health messages in the Internet.

고등교육 분야 온라인 학습 연구의 동향

조영환 ( Young Hoan Cho ),허선영 ( Sun Young Huh ),최효선 ( Hyo Seon Choi ),김정연 ( Jung Yeon Kim ),이현경 ( Hyun Kyung Lee ) 한국교육공학회 2015 교육공학연구 Vol.31 No.4

Students’ Perception of Problem-based Flipped Learning in Higher Education

허선영(Sun Young Huh),조영환(Young Hoan Cho) 학습자중심교과교육학회 2020 학습자중심교과교육연구 Vol.20 No.4

플립러닝은 고등교육에서 기존 강의식 수업이 가진 한계를 극복하고 핵심 역량을 증진시킬 수 있는 학습자 중심 수업으로 주목을 받고 있다. 그러나 플립러닝은 학습자의 수동적인 온라인 학습 참여, 온라인과 면대면 수업의 연계성 부족, 과도한 학습부담이라는 제한점을 가진다. 이러한 제한점을 극복하기 위해서 본 연구에서는 문제 중심 플립러닝을 이러닝(e-learning) 관련 대학원 강의에 적용하고 학습과정 및 결과에 대한 학습자의 인식을 탐구하였다. 총 11명을 대상으로 이러닝 설계에 관한 문제 중심 플립러닝을 3주간 실시하고 설문조사와 심층면담을 통해 학습자의 인식을 조사하였다. 문제 중심 플립러닝은 학습자의 동기, 인지적 참여, 협력학습에 긍정적인 영향을 미쳤으며, 학습내용을 깊이 이해하고 실제적인 문제해결에 도움이 되는 것으로 나타났다. 그렇지만, 자기조절학습 측면에서는 문제 중심 플립러닝의 효과와 함께 개선점이 발견되었으며, 자기조절학습 능력이 부족한 학습자를 위해 적응적 학습지원을 강화할 필요가 있다. 본 연구는 문제 중심 학습과 플립러닝을 통합함으로써 기존의 플립러닝이 가진 제한점을 극복하고 유의미 학습을 증진시킬 수 있다는 것을 시사한다. Flipped learning is the student-centered learning that contributes to overcoming the limitations of traditional instruction and improving students’ key competencies in higher education. Despite the potential of flipped learning, there are a few challenges, such as passive online learning, lack of integration between online and face-to-face learning, and high workload of students. To address these challenges, this study applied problem-based flipped learning (PFL) in an e-learning design course and investigated graduate students’ perception of the learning process and outcomes in PFL. In this study, a total of 11 graduate students participated in PFL of e-learning design for three weeks, and their perceptions were investigated through surveys and in-depth interviews. PFL positively influenced students’ motivation, cognitive engagement, and collaborative learning and contributed to a deeper understanding and authentic problem-solving skills. Nevertheless, this study found that PFL had both strengths and weaknesses regarding self-regulated learning. Adaptive learning support should be provided to students who have a lower self-regulated learning competence. This study implies that the effectiveness of flipped learning for meaningful learning can be enhanced when it is integrated with problem-based learning.

실제적 문제해결력 향상을 위한 사례기반 심리스러닝

조해리 ( Hae Ree Cho ),조영환 ( Young Hoan Cho ),김미화 ( Mi Hwa Kim ) 한국교육정보미디어학회(구 한국교육정보방송학회) 2019 교육정보미디어연구 Vol.25 No.2

실제적인 문제해결력을 향상시키기 위해서 학교 안과 밖의 경험을 서로 연결해주는 심리스러닝(seamless learning)이 필요하다. 그리고 심리스러닝을 지원하는 데 있어서 사례가 유용하게 활용될 수 있다. 학습자가 스스로 사례를 만듦으로써 자신의 경험을 의미 있게 이해하고 다른 사람과 공유할 수 있으며, 교수자로부터 제공받은 사례를 통해 학교에서 학습한 지식을 활용하여 어떻게 실제적인 문제를 발견하고 해결할 수 있는지를 이해할 수 있다. 이 연구에서는 디지털 기술을 활용해서 학습자가 학교 안에서 배운 내용을 학교 밖의 실제적인 맥락에 적용하여 사례를 만들고 공유하는 사례기반 심리스러닝의 교육적 활용 가능성을 탐구하였다. 이를 위해 대학생을 대상으로 사례기반 심리스러닝을 3주 동안 실행하고, 사례기반 심리스러닝의 장점과 제한점에 대한 학습자의 인식과 함께 학습자가 만든 사례의 특성을 분석하였다. 연구 결과, 사례기반 심리스러닝이 학습 흥미와 실제적 문제해결력 향상에 긍정적인 영향을 미치고, 학습에 대한 신념의 변화에도 기여하는 것으로 나타났다. 학습자들은 사례 개발과 동료평가의 어려움을 제한점으로 인식하였고, 개인차를 고려한 교수지원이 필요하다고 하였다. 학습자가 만든 사례는 다양한 주제를 포함하였고, 학교 밖의 실제적인 경험과 학교 안에서 학습한 이론을 반영하였다. 몇몇 사례는 학습자가 일상생활 속에서 마주치는 문제에 대한 독창적인 해결안을 제시하였다. 이 연구는 사례기반 심리스러닝이 실제적인 학습으로서 대학의 교수 및 학습 방법을 개선하는 데 효과적으로 기여할 수 있다는 것을 시사한다. Seamless learning is necessary to enhance authentic problem solving skills through connecting school education with authentic experience out of school. In seamless learning, cases can be effectively used to help students to make a sense of their experience and share it with other students through student-constructed cases and to understand how to find and solve an authentic problem on the basis of what they have learned in school through teacher-provided cases. This study aims to explore educational effectiveness of case-based seamless learning (CBSL) in which students create and share cases through applying what they have learned in school to authentic contexts out of school, using digital technologies. In this study, university students carried out CBSL for three weeks as part of their coursework. This study investigated students’ perceptions on the strengths and limitations of CBSL and the characteristics of student-constructed cases. Students perceived that CBSL had contributed to their learning interest, the improvement of authentic problem solving skills, and the change of beliefs about learning. As limitations of CBSL, students pointed out difficulties in case construction and peer assessment as well as the lack of instructional support on individual differences. Student-constructed cases included a variety of topics that integrate theories learned in school with real-world experiences out of school. A few cases showed creative solutions to problems that students encountered in their everyday lifes. This study implies that CBSL as an authentic learning activity can effectively contribute to the improvement of teaching and learning practice in higher education.

동영상 강의에서 메타인지 지원이 학습결과 예측에 미치는 영향: 다중양식 학습분석을 중심으로

함윤희 ( Yoonhee Ham ),조영환 ( Young Hoan Cho ),김혁기 ( Hyug Gi Kim ),이재용 ( Jaeyong Lee ),김혜은 ( Hyeeun Kim ),이한솔 ( Hansol Lee ) 한국교육정보미디어학회 2021 교육정보미디어연구 Vol.27 No.4

코로나19 팬데믹으로 인해 비대면 교육이 증가하면서 동영상 강의의 중요도가 높아졌다. 동영상 강의의 효과를 높이기 위해서는 교수자가 학습결과를 사전에 예측하여 학습 지원을 적시에 제공하는 것이 필요하다. 최근에는 학습결과 예측의 정확도를 높이기 위해서 생리심리데이터를 포함하여 다양한 학습 데이터를 통합적으로 수집하고 분석하는 다중양식 학습분석 연구가 증가하고 있다. 하지만 예측 모델이 다양한 학습 맥락에 일반화 가능한지에 대한 연구는 부족하다. 본 연구는 동영상 학습결과를 예측하는 주요 요인인 메타인지 활동에 초점을 두고, 동영상 강의에서 메타인지 지원 여부가 학습결과 예측 모델에 어떠한 영향을 미치는지 탐구하고자 한다. 이를 위해 총 33명의 학습자를 메타인지 지원 집단(n=17)과 메타인지 미지원 집단(n=16)으로 무선 할당하고, 개별적으로 약 40분 동안 인체의 삼투압에 대한 동영상 강의를 학습하도록 하였다. 다중양식 학습분석을 위해 동영상 학습 과정을 영상으로 촬영하고, 손목밴드를 이용하여 피부전도도를 측정하고, 설문지로 인지부하를 측정하고, 사전 및 사후 검사를 실시하였다. 이렇게 수집된 데이터와 다양한 머신러닝 알고리즘을 이용해서 학습결과 상·하 집단을 예측하는 모델을 만들고, 각 모델의 성능을 평가하여 최적의 예측 모델을 도출하였다. 연구 결과, 메타인지 지원여부에 따라 최적의 동영상 학습결과 예측 모델이 서로 상이하게 나타났다. 메타인지 미지원 집단에서는 메타인지 활동과 피부전도도로 측정한 각성도가 최적 모델의 예측 변인으로 나타났지만, 메타인지 지원 집단에서는 인지부하와 사전지식 수준이 최적 모델의 예측 변인으로 나타났다. 본 연구는 메타인지 지원과 같은 교수 방법의 변화가 예측 모델에 주요한 영향을 미칠 수 있음을 보여주며, 이는 예측 모델을 새로운 맥락에 적용할 때 많은 주의가 필요하다는 것을 시사한다. Video lectures have played an important role during the COVID-19 pandemic, which significantly increased remote learning in school. To enhance the effectiveness of video lectures, instructors should predict students’ learning outcomes and provide learning supports at the right time. Recently, multimodal learning analytics has been developed in order to accurately predict learning outcomes using diverse learning data like psychophysiological measures. Nevertheless, there is a lack of research on whether a prediction model is generalizable across diverse learning contexts using different instructional methods. This research intends to explore the influence of metacognitive support on the prediction model of learning outcomes in video lectures. A total of 33 learners were randomly assigned to metacognitive support (n=17) and non-support (n=16) groups, and they individually studied video lectures of the osmotic pressure in the human body for 40 minutes. This study recorded the learning process with video, measured skin conductance responses with a wristband, collected the data of cognitive load using a survey, and conducted pre- and post-tests. Using the data collected, machine learning algorithms generated models to predict high- and low-achievement groups, and an optimal prediction model was selected through evaluating the performance of the models. This study found that the optimal prediction model of the metacognitive support group was different from that of the non-support group. In the non-support group, metacognitive activities and arousal levels measured by skin conductance responses were included in the optimal prediction model, whereas cognitive load and prior knowledge were included in the optimal prediction model of the metacognitive support group. This study shows that instructional methods like metacognitive support can significantly influence predicting learning outcomes in video lectures, so prediction models should be carefully applied to novel learning contexts.