맞춤형 피드백 지원을 위한 AI펭톡 교사용 대시보드 설계 연구 = Design and Implementation of an ‘AI PengTalk’ Dashboard for Teachers: Facilitating Personalized Feedback in Educational Settings

국문 초록 (Abstract)

인공지능 기술을 활용한 개인 맞춤형 학습지원에 대한 요구가 높 아지면서 인공지능 기술 기반 교육(AIEd)에 대한 보다 광범위하고 다양한 시도 및 연구가 이루어지고 있다. 이에 발맞추어 교육부는 2025년부터 인공지능 기술을 적용한 ‘인공지능 디지털교과서’를 도 입해 학생 맞춤형 디지털 교육시대를 열겠다는 내용이 담긴 ‘디지 털 기반 교육혁신 방안’을 발표했다(대한민국 정책브리핑, 2023). 인공지능 디지털 과서는 2025년 초등학교 3·4학년, 중학교 1학 년, 고등학교 공통·일반선택 과목부터 적용되며, 2026년 초등학교 5·6학년, 중학교 2학년, 2027년 중학교 3학년까지 단계적으로 도입 될 예정이다. 이는 학교현장에서 인공지능 기반 학습프로그램이 선택적으로 활용되는 것을 넘어서서 대부분의 교실 수업에 사용될 것을 예고하는 상황이다. 이와 더불어 지난해부터는 전국 대부분 의 학교 현장에서 1인 1 스마트 기기를 사용하는 학습 환경이 구 축되어 학습 데이터가 축적되고 있으며, 각종 에듀테크 도구에 인 공지능 기술이 결합되어 사용되면서 축적된 데이터를 분석하여 정 보를 시각적으로 제공하는 것이 용이해졌다. 분석된 학습 데이터는 대시보드를 통해 교수자와 학습자에게 제 공될 수 있다. 교수자용 대시보드에 기반한 교사의 통찰력은 가장 직접적으로는 학습자에게 제공하는 피드백을 통해 학습자의 학습 성장을 도모하게 된다. Knoop-van Campen, C., & Molenaar, I. (2020)의 연구에 따르면, 교사용 대시보드가 없을 때의 수업과 교 사용 대시보드를 활용한 수업에서 교사의 피드백 유형의 다양성 및 맞춤형 피드백 지원 여부에 차이가 있었으며, 이는 결국 교사 용 대시보드는 교사가 제공하는 피드백의 질에 중요한 역할을 한 다는 점을 시사한다. 이와 같이 교사용 대시보드와 교사의 피드백 제공의 밀접한 관 련성에도 불구하고, 인공지능 기술 활용 교육활동을 통해 제공되 는 교사용 대시보드에 대한 연구는 부족한 실정이다. 이에 대해 Li, Yanyan, et al., 2022)은 컴퓨터 기반 협업학습에서 학습분석 대시보드가 교사의 교수지원을 위해 개발되었지만 교사가 대시보 드 정보를 해석하여 교수학습 개선을 위해 활용하는 방안에 대한 연구는 거의 없다는 점을 지적하였다. 인공지능 기술 활용 맞춤형 수업에 대한 기대와 함께 이러한 시 대적 요구에 따라 학교 현장에서 활용되고 있는 인공지능 기술 활 용 교육도구에서 제공되는 교사용 대시보드가 어떠한 정보를 어떻 게 제공할 때 교사의 맞춤형 피드백 제공을 지원할 수 있는지에 대한 탐색이 필요하다. 이를 위해 본 연구에서는 맞춤형 피드백 지원을 위한 교사용 대 시보드 설계원리 및 세부지침을 도출하고, 이를 바탕으로 인공지 능 기술 활용 맞춤형 학습을 위해 개발된 공공플랫폼 중 학교현장 에서 비교적 많이 활용되고 있지만 교사의 입장에서 제공되는 교 사용 대시보드의 유용성에 대한 연구가 부족한 AI펭톡을 분석대상 프로그램으로 선정하여 교사의 맞춤형 피드백 지원을 위한 대시보 드 프로토타입을 제안하고자 하였다. 먼저 현재 사용되는 AI펭톡 교사용 학습관리페이지에 대한 현장 교사들의 요구분석을 실시하였다. 다음으로 관련 선행연구를 분석 하여 맞춤형 피드백 지원을 위한 교사용 대시보드 설계원리 및 세 부지침을 도출하였으며 전문가 타당화를 실시하였다. 이를 반영하 여 기존의 학습관리페이지에 데이터 분석 및 시각화 자료를 포함 하여 AI펭톡 교사용 대시보드 프로토타입을 구상하고, 전문가 타 당성 평가를 통해 최종 프로토타입 산출물을 개발하였다. 본 연구 의 과정 및 결과를 토대로 살펴본 연구의 의의는 다음과 같다. 첫째, 본 연구에서는 맞춤형 피드백 지원을 위한 교사용 대시보 드 설계원리와 세부지침을 도출하였다. 기존의 교육용 대시보드에 대한 설계원리 또는 평가준거를 다루는 선행연구에서는 교실 수업 상황이 아닌 학습장면에서의 대시보드 활용에 대해 다루고 있거나 대시보드 평가에 있어 HCI(Human-Computer Interaction)를 기준 으로 삼는 경우가 많았다. 반면, 역동적인 교실 수업 상황에서 교 사가 대시보드 상의 정보를 인지하고 성찰하고 의미를 발견하여 피드백을 제공하는 것을 포함한 행동변화 과정을 고려한 설계원리 는 선행연구에서 찾기 어려웠다. 2025년 인공지능 디지털 교과서 도입이 예고된 상황에서 학생들이 인공지능 기반 맞춤형 학습프로 그램을 활용하여 수업에 참여할 때 교사는 수집된 데이터를 바탕 으로 어떤 정보를 제공받고 활용할 수 있는지에 대한 연구가 필요 하다. 이에 본 연구에서는 교사가 대시보드상의 정보를 확인하고 성찰하고 의미를 발견하여 맞춤형 피드백 제공이라는 행동을 일으 키는 일련을 과정을 설명하는 ‘학습분석과정모델’을 기준으로 삼아 맞춤형 피드백 지원을 위한 교사용 대시보드 설계원리 및 세부지 침을 도출하고 전문가 타당화 과정을 통해 타당성을 확보하였다. 둘째, 본 연구에서는 맞춤형 피드백 지원을 위한 교사용 대시보 드 설계원리와 세부지침을 도출하는데 그치는 것이 아니라 이것을 적용한 사례까지 제시하여 현장 활용도를 높였다. 도출한 설계원 리와 세부지침을 바탕으로 실제 학교현장에서 활용되고 있으면서 현장교사들의 개선 요구가 있는 AI펭톡을 분석대상으로 삼아 개선 안을 담은 교사용 대시보드 프로토타입을 개발함으로써 맞춤형 피 드백 지원을 위한 교사용 대시보드 설계에서 중요하게 고려되어야 할 점들에 대해 검증할 수 있었다. 이는 학교 현장에서 활용되는 다양한 인공지능 기반 코스웨어 프로그램 뿐 아니라 향후 도입될 인공지능 디지털 교과서의 교사용 대시보드를 설계하고 평가하는 데 시사점을 제공할 수 있다. 주요어 : 학습분석학, 학습분석과정모델, 교사용 대시보드, 맞춤형 피 드백, 인공지능, 1인 1 스마트기기, AI펭톡 학 번 : 2021-24515

다국어 초록 (Multilingual Abstract)

As the demand for personalized learning support using A.I. technology increases, more extensive and diverse attempts and research on A.I.-based education (AIEd) are being conducted. In line with this, the Ministry of Education announced the "Digital-based Education Innovation Plan," which states that it will open the era of customized digital education for students by introducing "AI digital textbook" using AI technology from 2025 (Korea Policy Briefing, 2023). The A.I. digital textbook will be applied to elementary school grades 3-4, middle school grade 1, and high school common and general elective courses in 2025, and will be introduced in stages to elementary school grades 5-6, middle school grade 2, and middle school grade 3 in 2026 and 2027, respectively. This is a situation that foreshadows that A.I-based learning programs will be used in all classrooms, not just selectively, but in classroom situations. In addition, since 2022, learning environments using one-to-one smart devices have been established at most school sites nationwide, accumulating learning data, and as various EdTech tools are used in combination with A.I. technology, it is easy to analyze the accumulated data and provide information visually. Analyzed learning data can be presented to instructors and learners via dashboards. Teachers' insights based on dashboards for instructors most directly contribute to learner growth through the feedback they provide to learners. A study by Knoop-van Campen, C., and Molenaar, I. (2020) found that there was a difference in the variety of types of feedback teachers provided and whether they supported personalized feedback in classes without a teacher dashboard versus classes with a teacher dashboard, suggesting that the teacher dashboard plays a role in the quality of feedback teachers provide. Despite the close relationship between teacher dashboards and teacher feedback, there is a lack of research on teacher dashboards provided through AI-enhanced educational activities. In this regard, Li, Yanyan, et al. (2022) pointed out that although learning analysis dashboards have been developed to support teachers' teaching in computer-based collaborative learning, there are few studies on how teachers interpret and utilize dashboard information to improve teaching and learning. Along with the expectation of customized classes using A.I. technology, it is necessary to explore what information and how teachers' dashboards provided by A.I. technology-enabled educational tools utilized in schools can support teachers in providing adaptive feedback. To this end, this study derived the design principles and details of a teacher dashboard for adaptive feedback support, and based on this, AI Pengtalk, a public platform developed for AI-tailored learning, which is relatively widely used in schools, but lacks research on the usefulness of a teacher dashboard from the perspective of teachers, was selected as a program to be analyzed, and a dashboard prototype for adaptive feedback support was proposed. First, we analyzed the needs of teachers in the field for the current AI Pengtalk teacher learning management page. Next, we analyzed related prior research to derive the design principles and detailed guidelines for the teacher dashboard to support adaptive feedback, and conducted expert validation. Based on this, we designed a prototype of AI Pengtalk Teacher Dashboard by including data analysis and visualization materials on the existing learning management page, and developed the final prototype output through expert validation. Based on the process and results of this study, the significance of this research is as follows. First, this study derived the design principles and detailed guidelines of a teacher dashboard for personalized feedback support. Previous studies on design principles or evaluation criteria for educational dashboards often focus on the use of dashboards in learning situations rather than classroom teaching situations, or use HCI(Human-Computer Interaction) as a reference. On the other hand, it is difficult to find design principles that consider the behavioral change process, including teachers' perception, reflection, meaning discovery, and feedback of information on dashboards in dynamic classroom teaching situations. As the introduction of A.I. digital textbooks is expected in 2025, it is necessary to study what information teachers can provide and utilize based on the collected data when students participate in classes using A.I.-based personalized learning programs. In this study, we derived the principles and detailed guidelines for designing a dashboard for teachers to support adaptive feedback based on the Learning Analysis Process Model, which describes the process of teachers checking the information on the dashboard, reflecting on it, discovering the meaning, and generating the behavior of providing adaptive feedback, and secured the validity through the expert validation process. Second, this study did not only derive the design principles and detailed guidelines for teacher dashboards for adaptive feedback, but also presented examples of their application to enhance their use in the field. Based on the derived design principles and detailed guidelines, we were able to develop a prototype of a teacher dashboard with improvement suggestions by analyzing AI Pengtalk, which is being used in actual schools and has improvement needs from teachers in the field, and verify the important points to be considered in the design of a teacher dashboard for adaptive feedback. This can provide implications for the design and evaluation of teacher dashboards for various AI-based courseware programs used in schools, as well as for AI digital textbooks introduced in the future.
keywords : learning analytics, learning analytics process model, teacher dashboard, adaptive feedback, artificial intelligence, 1 to 1 device, AI pengtalk
Student Number : 2021-24515

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1. 연구의 필요성과 목적 1
• 2. 연구 문제 4
• 3. 용어의 정리 5
• 가. 학습분석학 5
• 나. 교사용 대시보드 5
• 다. 맞춤형 피드백 5
• Ⅱ. 이론적 배경 7
• 1. 학습분석학과 학습분석과정모델 7
• 가. 학습분석학 7
• 나. 학습분석과정모델 9
• 2. 학습분석과정모델과 교사용 대시보드 11
• 가. 학습분석과정모델에 따른 교사용 대시보드 역할 11
• 나. 학습분석과정모델 기반 교사용 대시보드 사례 13
• 3. 교사용 대시보드와 교수자 피드백 20
• 4. AI펭톡 24
• Ⅲ. 연구 방법 27
• 1. 설계·개발 연구 방법 27
• 2. 연구 절차 29
• 3. 연구 참여자 31
• 가. 설계원리 및 세부지침 타당화 검토 전문가 32
• 나. 교사용 대시보드 프로토타입 타당화 검토 전문가 33
• 4. 연구 도구 34
• 가. 프로토타입 개발 도구 34
• 나. 설계원리 및 세부지침에 대한 타당성 평가 도구 34
• 다. 초기 프로토타입에 대한 타당성 평가 도구 36
• 5. 자료 수집 및 분석 37
• Ⅳ. 연구 결과 38
• 1. AI펭톡 교사용 페이지에 대한 요구분석 38
• 가. 선행연구에서의 요구분석 38
• 나. AI펭톡 교사용 학습관리페이지에 대한 요구분석 43
• 2. 교사용 대시보드 설계원리 및 세부지침 46
• 가. 초기 설계원리 및 세부지침 46
• 나. 1차 전문가 검토 결과 50
• 다. 2차 전문가 검토 결과 55
• 라. 최종 설계 원리 및 세부지침 63
• 3. AI펭톡 교사용 대시보드 프로토타입 67
• 가. 초기 프로토타입 67
• 나. 초기 프로토타입에 대한 전문가 타당성평가 결과 74
• 다. 최종 프로토타입 구조도 78
• 라. 최종 프로토타입 산출물 78
• Ⅴ. 논의 및 결론 88
• 1. 논의 88
• 2. 결론 90
• 3. 제언 92
• 참고문헌 94
• 부록 102
• Abstract 137