학습 분석을 활용한 학습 추천 LMS 설계

박경선 한국방송통신대학교 대학원 2019 국내석사

With the rapid development of information and communication technology entering the era of the fourth industrial revolution, technologies such as big data, artificial intelligence and chat bot are being applied throughout society. In the field of e-learning, various studies are also being conducted to implement and provide the advanced learning services required in the era of the 4th Industrial Revolution. Especially since the early 2010s, there has been an active study of learning analytics aimed at promoting learning outcomes by collecting and analyzing learner-related data and providing learning prescriptions. Learning analytics helps to achieve successful learning objectives based on big data from the course of instructional design, i.e. learning big data. In addition, research related to customized learning, which defines learners as service oriented and provides optimized learning for individuals based on results derived from learning analytics, has recently been conducted on learning-use services using artificial intelligence and chat bot. This paper is about the design of a system that can provide advanced e-learning services in the era of the 4th Industrial Revolution and aims to present a design that can be utilized in the implementation of LMS(Learning Management System), which recommends learning (question, learning content) for the provision of customized learning services based on convergence with the latest IT technologies. The research progress was made by identifying relevant theories through investigation and analysis of prior studies such as learning analytics, customized learning, adaptive learning, etc. to derive implications, and by doing so, the experience recommended LMS design for customized learning services was carried out, and the assessment was conducted with the field LMS developer as an expert on the final design results. This study has limitations that have been carried out up to the design stage of the system over time. Therefore, follow-up studies such as implementation of practical learning recommendations LMS and validation of effectiveness through service application need to be carried out according to design. In the course of further research, the application of services will first be appropriate in the field of mathematics and education where learner-level data can be checked objectively. Mathematics education is emphasized as one of the basic elements of creativity and convergence thinking, which is essential to fostering future-oriented talent in the era of the 4th Industrial Revolution, and the importance of mathematics is increased by the need for logical, objective and creative thinking, but at the educational site, 36.5% of sixth graders in elementary school, 46.2% of third graders in middle school and 59.7% of high school seniors are likely to give up. It is easy to predict that this will be an obstacle to securing the most important key talent among the national competitiveness elements needed to survive global competition in the era of the 4th Industrial Revolution. In addition, data that can clearly be objectively identified, such as learner achievements and levels of learning content provided, will be suitable for further research, including verification of effectiveness through the provision of actual e-learning services after the implementation of the system where the proposed design is applied in this study. If this study is conducted at the design stage, but based on it, actual system implementation is carried out and the design is advanced in various e-learning service areas, such as effectiveness through future research, it can be expected to contribute as a research that presents a progressive direction as a future LMS. 급속한 정보통신 기술의 발전과 함께 4차 산업혁명 시대에 들어서면서 빅 데이터(big data), 인공지능(AI), 챗봇(chatbot) 등의 기술이 사회 전반에 응용되고 있다. 이러닝 학문 분야에서도 4차 산업혁명 시대에서 요구되는 발전적인 학습 서비스 구현 및 제공을 위한 다양한 연구가 진행되고 있다. 특히 2010년 대 초반부터 학습자의 학습 관련 데이터를 수집하고 분석하여 학습적 처방을 제공함으로써 학습 성과를 촉진하고자 하는 목적을 갖는 학습 분석(learning analytics)에 대한 연구가 활발히 진행되고 있다. 학습 분석은 교수학습 과정에서 발생하는 빅 데이터, 즉 학습 빅 데이터를 기반으로 보다 효과적인 학습을 진행할 수 있도록 지원하며 이를 통해 성공적인 학습목적 달성을 유도하는 의미를 갖고 있다. 이와 함께 학습자를 서비스 중심으로 정의하고 학습 분석을 통해 도출된 결과를 바탕으로 개인에 최적화된 학습을 제공하는 맞춤형 학습과 관련된 연구도 진행되고 있으며, 최근에는 인공지능, 챗봇 등을 활용한 학습 이용 서비스에 대한 연구도 진행되고 있다. 본 논문은 4차 산업혁명 시대에서 발전적인 이러닝 서비스를 제공할 수 있는 시스템의 설계에 대한 것으로 최신 IT 기술과의 융합을 기반으로 맞춤형 학습 서비스 제공을 위한 학습(문항, 학습 내용)을 추천하는 학습관리시스템(LMS, Learning Management System) 구현에 활용 가능한 설계의 제시를 목적으로 하고 있다. 연구의 진행은 학습 분석, 맞춤형 학습, 적응적 학습 등의 선행 연구에 대한 조사와 분석을 통해 관련 이론을 확인하여 시사점을 도출하고, 이를 통해 맞춤형 학습 서비스를 위한 학습 추천 LMS 설계를 진행하였으며, 최종적인 설계 결과에 대해서 현업 이러닝 시스템 개발자를 전문가로 하여 평가를 진행하였다. 본 연구는 시스템 설계 단계까지만 진행된 한계성을 갖고 있다. 따라서 설계에 따른 실제 학습 추천 LMS의 구현 및 서비스 적용을 통한 효과성 검증 등의 후속 연구가 진행될 필요가 있다. 후속 연구의 진행에서 우선 서비스 적용 분야는 학습자 수준 데이터 등을 객관적으로 확인할 수 있는 수학 교육 분야가 적절할 것이다. 수학 교육은 4차 산업혁명 시대에서 미래 지향의 인재 육성에 필수 요소인 창의와 융합 사고력의 기본적인 요소 중 하나로 강조되고 있으며, 미래 인재 기본역량으로 논리적이고 객관적이며 창의적인 사고의 필요에 의해 수학의 중요성이 높아지고 있으나, 교육 현장에서는 초등학교 6학년의 36.5%, 중학교 3학년의 46.2% 그리고 고등학교 3학년의 59.7%가 수포자(수학 포기 자)로 나타나고 있다. 이는 4차 산업혁명 시대에서 글로벌한 경쟁에서 생존하기 위해 필요한 국가 경쟁력 요소 중 가장 중요한 핵심 인재 확보에 장애가 될 것이라는 것을 쉽게 예측할 수 있다. 또한 학습자의 성취 및 수준, 제공되는 학습 콘텐츠 수준 등을 객관적으로 확인할 수 있는 데이터를 명확하게 확보할 수 있기에 본 연구에서 제안된 설계가 적용된 시스템 구현 후 실제 이러닝 서비스를 제공을 통한 효과성 등의 검증을 포함한 후속 연구 진행에 적합할 것이다. 본 연구는 설계 단계로 진행되었으나 이를 바탕으로 실제 시스템 구현이 진행되고 향후 연구를 통한 효과성 등의 검증이 다양한 이러닝 서비스 분야에서 적용되어 설계 및 구현의 고도화가 진행된다면, 미래 지향적인 학습 추천 LMS로 발전할 수 있는데 기여할 수 있을 것이다.

맞춤형 피드백 지원을 위한 AI펭톡 교사용 대시보드 설계 연구

이정현 서울대학교 대학원 2024 국내석사

인공지능 기술을 활용한 개인 맞춤형 학습지원에 대한 요구가 높 아지면서 인공지능 기술 기반 교육(AIEd)에 대한 보다 광범위하고 다양한 시도 및 연구가 이루어지고 있다. 이에 발맞추어 교육부는 2025년부터 인공지능 기술을 적용한 ‘인공지능 디지털교과서’를 도 입해 학생 맞춤형 디지털 교육시대를 열겠다는 내용이 담긴 ‘디지 털 기반 교육혁신 방안’을 발표했다(대한민국 정책브리핑, 2023). 인공지능 디지털 과서는 2025년 초등학교 3·4학년, 중학교 1학 년, 고등학교 공통·일반선택 과목부터 적용되며, 2026년 초등학교 5·6학년, 중학교 2학년, 2027년 중학교 3학년까지 단계적으로 도입 될 예정이다. 이는 학교현장에서 인공지능 기반 학습프로그램이 선택적으로 활용되는 것을 넘어서서 대부분의 교실 수업에 사용될 것을 예고하는 상황이다. 이와 더불어 지난해부터는 전국 대부분 의 학교 현장에서 1인 1 스마트 기기를 사용하는 학습 환경이 구 축되어 학습 데이터가 축적되고 있으며, 각종 에듀테크 도구에 인 공지능 기술이 결합되어 사용되면서 축적된 데이터를 분석하여 정 보를 시각적으로 제공하는 것이 용이해졌다. 분석된 학습 데이터는 대시보드를 통해 교수자와 학습자에게 제 공될 수 있다. 교수자용 대시보드에 기반한 교사의 통찰력은 가장 직접적으로는 학습자에게 제공하는 피드백을 통해 학습자의 학습 성장을 도모하게 된다. Knoop-van Campen, C., & Molenaar, I. (2020)의 연구에 따르면, 교사용 대시보드가 없을 때의 수업과 교 사용 대시보드를 활용한 수업에서 교사의 피드백 유형의 다양성 및 맞춤형 피드백 지원 여부에 차이가 있었으며, 이는 결국 교사 용 대시보드는 교사가 제공하는 피드백의 질에 중요한 역할을 한 다는 점을 시사한다. 이와 같이 교사용 대시보드와 교사의 피드백 제공의 밀접한 관 련성에도 불구하고, 인공지능 기술 활용 교육활동을 통해 제공되 는 교사용 대시보드에 대한 연구는 부족한 실정이다. 이에 대해 Li, Yanyan, et al., 2022)은 컴퓨터 기반 협업학습에서 학습분석 대시보드가 교사의 교수지원을 위해 개발되었지만 교사가 대시보 드 정보를 해석하여 교수학습 개선을 위해 활용하는 방안에 대한 연구는 거의 없다는 점을 지적하였다. 인공지능 기술 활용 맞춤형 수업에 대한 기대와 함께 이러한 시 대적 요구에 따라 학교 현장에서 활용되고 있는 인공지능 기술 활 용 교육도구에서 제공되는 교사용 대시보드가 어떠한 정보를 어떻 게 제공할 때 교사의 맞춤형 피드백 제공을 지원할 수 있는지에 대한 탐색이 필요하다. 이를 위해 본 연구에서는 맞춤형 피드백 지원을 위한 교사용 대 시보드 설계원리 및 세부지침을 도출하고, 이를 바탕으로 인공지 능 기술 활용 맞춤형 학습을 위해 개발된 공공플랫폼 중 학교현장 에서 비교적 많이 활용되고 있지만 교사의 입장에서 제공되는 교 사용 대시보드의 유용성에 대한 연구가 부족한 AI펭톡을 분석대상 프로그램으로 선정하여 교사의 맞춤형 피드백 지원을 위한 대시보 드 프로토타입을 제안하고자 하였다. 먼저 현재 사용되는 AI펭톡 교사용 학습관리페이지에 대한 현장 교사들의 요구분석을 실시하였다. 다음으로 관련 선행연구를 분석 하여 맞춤형 피드백 지원을 위한 교사용 대시보드 설계원리 및 세 부지침을 도출하였으며 전문가 타당화를 실시하였다. 이를 반영하 여 기존의 학습관리페이지에 데이터 분석 및 시각화 자료를 포함 하여 AI펭톡 교사용 대시보드 프로토타입을 구상하고, 전문가 타 당성 평가를 통해 최종 프로토타입 산출물을 개발하였다. 본 연구 의 과정 및 결과를 토대로 살펴본 연구의 의의는 다음과 같다. 첫째, 본 연구에서는 맞춤형 피드백 지원을 위한 교사용 대시보 드 설계원리와 세부지침을 도출하였다. 기존의 교육용 대시보드에 대한 설계원리 또는 평가준거를 다루는 선행연구에서는 교실 수업 상황이 아닌 학습장면에서의 대시보드 활용에 대해 다루고 있거나 대시보드 평가에 있어 HCI(Human-Computer Interaction)를 기준 으로 삼는 경우가 많았다. 반면, 역동적인 교실 수업 상황에서 교 사가 대시보드 상의 정보를 인지하고 성찰하고 의미를 발견하여 피드백을 제공하는 것을 포함한 행동변화 과정을 고려한 설계원리 는 선행연구에서 찾기 어려웠다. 2025년 인공지능 디지털 교과서 도입이 예고된 상황에서 학생들이 인공지능 기반 맞춤형 학습프로 그램을 활용하여 수업에 참여할 때 교사는 수집된 데이터를 바탕 으로 어떤 정보를 제공받고 활용할 수 있는지에 대한 연구가 필요 하다. 이에 본 연구에서는 교사가 대시보드상의 정보를 확인하고 성찰하고 의미를 발견하여 맞춤형 피드백 제공이라는 행동을 일으 키는 일련을 과정을 설명하는 ‘학습분석과정모델’을 기준으로 삼아 맞춤형 피드백 지원을 위한 교사용 대시보드 설계원리 및 세부지 침을 도출하고 전문가 타당화 과정을 통해 타당성을 확보하였다. 둘째, 본 연구에서는 맞춤형 피드백 지원을 위한 교사용 대시보 드 설계원리와 세부지침을 도출하는데 그치는 것이 아니라 이것을 적용한 사례까지 제시하여 현장 활용도를 높였다. 도출한 설계원 리와 세부지침을 바탕으로 실제 학교현장에서 활용되고 있으면서 현장교사들의 개선 요구가 있는 AI펭톡을 분석대상으로 삼아 개선 안을 담은 교사용 대시보드 프로토타입을 개발함으로써 맞춤형 피 드백 지원을 위한 교사용 대시보드 설계에서 중요하게 고려되어야 할 점들에 대해 검증할 수 있었다. 이는 학교 현장에서 활용되는 다양한 인공지능 기반 코스웨어 프로그램 뿐 아니라 향후 도입될 인공지능 디지털 교과서의 교사용 대시보드를 설계하고 평가하는 데 시사점을 제공할 수 있다. 주요어 : 학습분석학, 학습분석과정모델, 교사용 대시보드, 맞춤형 피 드백, 인공지능, 1인 1 스마트기기, AI펭톡 학 번 : 2021-24515 As the demand for personalized learning support using A.I. technology increases, more extensive and diverse attempts and research on A.I.-based education (AIEd) are being conducted. In line with this, the Ministry of Education announced the "Digital-based Education Innovation Plan," which states that it will open the era of customized digital education for students by introducing "AI digital textbook" using AI technology from 2025 (Korea Policy Briefing, 2023). The A.I. digital textbook will be applied to elementary school grades 3-4, middle school grade 1, and high school common and general elective courses in 2025, and will be introduced in stages to elementary school grades 5-6, middle school grade 2, and middle school grade 3 in 2026 and 2027, respectively. This is a situation that foreshadows that A.I-based learning programs will be used in all classrooms, not just selectively, but in classroom situations. In addition, since 2022, learning environments using one-to-one smart devices have been established at most school sites nationwide, accumulating learning data, and as various EdTech tools are used in combination with A.I. technology, it is easy to analyze the accumulated data and provide information visually. Analyzed learning data can be presented to instructors and learners via dashboards. Teachers' insights based on dashboards for instructors most directly contribute to learner growth through the feedback they provide to learners. A study by Knoop-van Campen, C., and Molenaar, I. (2020) found that there was a difference in the variety of types of feedback teachers provided and whether they supported personalized feedback in classes without a teacher dashboard versus classes with a teacher dashboard, suggesting that the teacher dashboard plays a role in the quality of feedback teachers provide. Despite the close relationship between teacher dashboards and teacher feedback, there is a lack of research on teacher dashboards provided through AI-enhanced educational activities. In this regard, Li, Yanyan, et al. (2022) pointed out that although learning analysis dashboards have been developed to support teachers' teaching in computer-based collaborative learning, there are few studies on how teachers interpret and utilize dashboard information to improve teaching and learning. Along with the expectation of customized classes using A.I. technology, it is necessary to explore what information and how teachers' dashboards provided by A.I. technology-enabled educational tools utilized in schools can support teachers in providing adaptive feedback. To this end, this study derived the design principles and details of a teacher dashboard for adaptive feedback support, and based on this, AI Pengtalk, a public platform developed for AI-tailored learning, which is relatively widely used in schools, but lacks research on the usefulness of a teacher dashboard from the perspective of teachers, was selected as a program to be analyzed, and a dashboard prototype for adaptive feedback support was proposed. First, we analyzed the needs of teachers in the field for the current AI Pengtalk teacher learning management page. Next, we analyzed related prior research to derive the design principles and detailed guidelines for the teacher dashboard to support adaptive feedback, and conducted expert validation. Based on this, we designed a prototype of AI Pengtalk Teacher Dashboard by including data analysis and visualization materials on the existing learning management page, and developed the final prototype output through expert validation. Based on the process and results of this study, the significance of this research is as follows. First, this study derived the design principles and detailed guidelines of a teacher dashboard for personalized feedback support. Previous studies on design principles or evaluation criteria for educational dashboards often focus on the use of dashboards in learning situations rather than classroom teaching situations, or use HCI(Human-Computer Interaction) as a reference. On the other hand, it is difficult to find design principles that consider the behavioral change process, including teachers' perception, reflection, meaning discovery, and feedback of information on dashboards in dynamic classroom teaching situations. As the introduction of A.I. digital textbooks is expected in 2025, it is necessary to study what information teachers can provide and utilize based on the collected data when students participate in classes using A.I.-based personalized learning programs. In this study, we derived the principles and detailed guidelines for designing a dashboard for teachers to support adaptive feedback based on the Learning Analysis Process Model, which describes the process of teachers checking the information on the dashboard, reflecting on it, discovering the meaning, and generating the behavior of providing adaptive feedback, and secured the validity through the expert validation process. Second, this study did not only derive the design principles and detailed guidelines for teacher dashboards for adaptive feedback, but also presented examples of their application to enhance their use in the field. Based on the derived design principles and detailed guidelines, we were able to develop a prototype of a teacher dashboard with improvement suggestions by analyzing AI Pengtalk, which is being used in actual schools and has improvement needs from teachers in the field, and verify the important points to be considered in the design of a teacher dashboard for adaptive feedback. This can provide implications for the design and evaluation of teacher dashboards for various AI-based courseware programs used in schools, as well as for AI digital textbooks introduced in the future. keywords : learning analytics, learning analytics process model, teacher dashboard, adaptive feedback, artificial intelligence, 1 to 1 device, AI pengtalk Student Number : 2021-24515

학습자 인터렉션 데이터를 활용한 LMS의 사용의도와 실제사용 간의 관계 분석

김기범 상명대학교 일반대학원 2019 국내석사

The use of Learning Management System(LMS) in higher education institutions is becoming common. Accordingly, studies were conducted on the factors of acceptance of LMS based on the Technology Acceptance Model(TAM). However, most studies were limited to those that did not analyze the relationship between behavior intention and actual use, assuming that use would lead to actual use, or depending on the learners' self-awareness due to the difficulty of collecting actual usage data. Thus, this study attempted to overcome the limitations of studies on acceptance that had been measured only in the self-reporting questionnaire or use, and to influence the actual use of the user based on the interaction data of learners using LMS. Thus, in this study, research issues were set up to overcome the limitations of research on existing technology expropriation that had been measured only by self-reporting questionnaires or usage, and to identify the impact of user awareness and actual use based on user interaction data using LMS. Based on the TAM (Technology Acceptance Model), this study sought to identify perceived ease of use, perceived usefulness, attitude, and structural relationship to actual use. For this, 1,375 university students were surveyed. The variables up to the behavior intention to use were measured in a survey and actual use was analyzed using the student interaction data for the first semester of 2018. Studies have shown that the structural relationship between perceived ease of use, perceived usefulness, attitude of use and use by learners is consistent with the technology acceptance model but, the model with actual use is not acceptance. The indirect effects of perceived ease of use, perceived usefulness, and usability on actual use were also not acceptance. This means that there is a limit to the extent to which actual use can be predicted, and that the variables in the TAM have no effect on actual use. The conclusions of the study based on this study are as follows: First, it was analyzed that the actual use of the LMS by university students is not related to the use of LMS. They also confirmed that perceived usefulness, perceived ease of use, and attitudes have no indirect effects on actual use. This implies that research to the extent of existing use may not, in substance, cause significant changes to the learner when reflected in future LMS improvements. Therefore, factors affecting actual use should be identified and reflected in future LMS improvements. Second, the recognized ease of use of the structural model → perceived usefulness → attitude → behavior intention has been identified as significant. In particular, attitude leads to a learner's satisfaction, meaning that increased user satisfaction leads to increased use. At the same time, perceived ease of use and perceived usefulness of LMS affect the satisfaction. Therefore, in order to improve future use of LMS, perceived ease of use, perceived usefulness, and attitudes should be considered. Suggestions from this study are as follows. First, it is necessary to identify the factors affecting learners' actual use of LMS through various variables. By doing so, it will not only be necessary to increase satisfaction with LMS through technical skills, but also to attempt to pedagogy into technology through continuous research. Second, more sophisticated methods of processing the interaction data within the LMS are requested. This study is meaningful in that it applies learning analysis to technology acceptance studies, especially the pre-treatment process of data can be applied to various studies of learning analysis. Therefore, it is suggested that future exploration of methods to refine data will contribute to the study of learning analysis. Third, extension of the research target for LMS use is requested. For continued use of the LMS, the use of professors as well as learners should be considered. Based on the research on the factors of future use of LMS by the professor, it suggests improvement of LMS considering both learners and professors. Key words : LMS, TAM, learning analytics, interaction, actual use 고등교육기관에서 학습의 수월성 및 상호작용증진을 위한 학습관리시스템(Learning Management System, LMS)의 사용은 보편화되고 있다. 또한 LMS에 축적되고 있는 학습자의 활동 데이터는 최근 학습분석학에서 많은 관심을 받고 있다. LMS의 활용과 관련하여 기술수용모형(TAM)에 기초한 사용의도에 관한 연구가 진행되어 왔고, 이러한 연구들은 사용의도가 실제사용을 유도할 것이라고 가정하고 있다. 하지만 실제 사용 데이터 수집의 어려움으로 인하여 사용의도와 실제사용 간의 관계를 분석하지 않거나, 혹은 실제 사용을 학습자의 자기 인식에 의존하는 연구로 제한되어 데이터를 기반으로 한 사용자의 실제 사용에 대한 연구는 찾아보기 어렵다. 이에 본 연구에서는 자기보고식 설문 또는 사용의도까지만 측정했던 기존 기술수용에 대한 연구의 한계를 극복하고, LMS를 활용하는 사용자의 인터렉션(interaction) 데이터에 기반해 사용자의 인식과 사용의도가 실제사용에 미치는 영향을 규명하는 것을 목적으로 하였다. 이러한 연구목적을 달성하기 위해 본 연구에서는 기술수용모형(TAM)에 근거해, 인지된 용이성, 인지된 유용성, 사용태도, 실제사용에 대한 구조적 관계를 확인하고자 하였다. 이를 위해 A대학 대학생 1,375명을 대상으로 연구를 수행하였다. 사용의도까지의 변인은 설문조사로 측정하였으며, 실제사용은 2018학년도 1학기 학습자 인터렉션 데이터를 활용해 분석하였다. 연구 결과, 학습자의 인지된 용이성, 인지된 유용성, 사용 태도, 사용의도 간의 구조적 관계는 기술수용모형과 일치하는 결과가 도출되었으나, 실제 사용이 포함된 모형은 적합하지 않은 것으로 나타났다. 인지된 용이성, 인지된 유용성, 사용태도가 실제사용에 미치는 간접영향 또한 유의하지 않은 것으로 확인되었다. 즉, 사용의도가 실제 사용을 예측하기에는 한계가 있음을 의미하며, TAM의 변인들이 실제사용에 미치는 영향이 없음을 의미한다. 본 연구결과를 바탕으로 내린 연구의 결론은 다음과 같다. 첫째, 대학생의 LMS 사용의도는 LMS 실제사용에 영향을 미치지 못하는 것으로 분석되었다. 또한 인지된 유용성, 인지된 용이성, 태도가 실제사용에 간접적으로 미치는 영향 또한 없음을 확인하였다. 이는 기존의 사용의도까지의 연구를 통해 향후 LMS 개선에 반영했을 때 실질적으로 학습자의 유의미한 변화를 일으키지 못할 가능성을 내포한다. 따라서 실제사용에 영향을 미치는 요인을 찾아, 향후 LMS 개선에 반영해야한다. 둘째, 구조 모형의 인지된 용이성 → 인지된 유용성 → 사용 태도 → 사용의도까지의 경로가 유의한 것으로 확인되었다. 특히, 사용 태도 변인은 학습자의 만족도로 이어지는데, 사용자의 만족도 증진이 사용의도의 증진으로 이어짐을 의미한다. 동시에, 만족도에는 LMS에 대한 용이성과 유용성이 영향을 미친다. 따라서, 향후 LMS 사용의도의 증진을 위해서는 인지된 용이성, 인지된 유용성, 태도를 고려해야 한다. 본 연구를 통한 제언은 다음과 같다. 첫째, 다양한 변인을 통해 학습자의 LMS 실제사용에 미치는 요인을 확인할 필요가 있다. 이를 통해 단순히 기술력을 통해 LMS 만족도를 높이는 것이 아니라, 지속적인 연구를 통해 페다고지를 테크놀로지 속에 녹여내는 시도가 국내 대학 교육에 필요할 것이다. 둘째, LMS 내 인터렉션 데이터를 보다 정교하게 처리하는 방안 탐색이 요청된다. 본 연구는 기술수용 연구에 학습분석학을 적용한 점에서 의의가 있으며, 특히 데이터의 전처리과정은 학습분석의 다양한 연구에 적용이 가능하다. 따라서 향후 데이터를 정교화하는 방안의 탐색을 통해 학습분석 연구에 기여할 것을 제언한다. 셋째, LMS 사용요인 연구대상의 확장이 요청된다. LMS의 지속적 사용을 위해서는 학습자 뿐 아니라 교수자의 사용 또한 고려해야 한다. 향후 교수자의 LMS 사용요인에 대한 연구를 기반으로, 학습자와 교수자를 모두 고려한 LMS 개선을 제언한다. 주요어: LMS, TAM, 학습분석학, 인터랙션, 실제사용

학습분석학 기반의 온라인 토론활동 시각화 원리 개발 연구

유미나 서울대학교 대학원 2017 국내박사

온라인 토론은 원격대학이나 사이버 대학, 묵스 제공기관 등 온라인을 전제로 하는 교육기관뿐만 아니라 전통적 대학과 같은 교육기관에서도 널리 사용하는 보편적인 디지털 학습 환경 기반의 교수방법이다. 이러한 추세에 따라 온라인 토론의 질을 높이기 위한 노력 또한 다양하게 경주되고 있다. 온라인 학습에서 발생하는 다양한 디지털 자료를 분석하여 학습에 도움이 되는 정보로 만들어 제공하는 것을 지향하는 학습분석학은 이러한 상황에서 각광을 받고 있으며, 학습분석은 온라인 토론의 질을 향상시킬 수 있는 중요한 방법 중 하나로 여겨지고 있다. 학습분석의 방법을 사용하면 현재 진행되고 있는 토론활동으로부터 생성되는 디지털 데이터를 분석하여 토론학습에 유용성이 높은 정보를 제공하는 것이 가능해지기 때문이다. 학습자의 참여, 토론의 방향성, 토론의 효율성, 상호작용의 양상 등에 대해 학습자가 생성한 데이터를 분석하고, 이를 적절히 가공하여 의미 있는 정보로 표현하여 제공한다면, 이는 학습자와 교수자 모두에게 큰 도움이 될 것이다. 온라인 토론을 통해 생성되는 데이터를 분석한 결과는 아주 드물게 텍스트의 형태로만 표현될 수 있으나, 대개는 수치를 포함한 그래프나 이미지 즉, 시각적 표상의 형태로 표현되는 것이 일반적이다. 정보를 시각적 표상의 형태로 표현하는 것은 적은 시간과 노력을 들여 통합적인 정보를 얻는 데에 유리하기 때문이다. 그렇다면 온라인 토론의 경우, 학습자에게 제공되어야 하는 정보는 어떤 종류여야 하며, 또 이를 시각화하여 표현하는 데에는 어떠한 원리가 적용되어야 할 것인가? 이 연구는 온라인 토론에서 학습분석의 결과로 나타나는 정보들을 어떠한 형태로 학습자나 교수자에게 제공할 것인지에 대한 방법을 구안하는 데에 활용될 수 있는 원리, 즉 학습분석의 결과에 대한 시각적 표상물을 구현해 내기 위한 기저 원리를 추출·구안하는 것을 목적으로 수행되었다. 이를 보다 구체적으로 표현하면 다음과 같은 두 개의 연구 문제가 된다. 첫째, 학습분석학 기반의 온라인 토론활동 시각화 원리는 무엇인가? 둘째, 학습분석학 기반의 온라인 토론활동 시각화 원리에 대한 사용자의 반응은 어떠한가? 본 연구는 설계·개발 연구 유형2의 방법을 적용하여 문헌에 기초한 원리의 초안 도출, 사례분석을 통한 원리의 수정, 원리에 대한 전문가 타당화, 원리에 대한 사용성 평가 및 원리를 적용한 프로토타입 개발, 개발된 프로토타입에 대한 사용자 반응 평가 등 내적·외적 타당화의 과정을 거쳐 최종 원리를 개발하는 방법을 따랐다. 그 구체적인 절차는 다음과 같다. 먼저 시각적 정보 처리 과정과 정보 시각화, 학습분석학과 온라인 토론활동의 시각화와 관련된 선행문헌을 고찰하여 시각화 원리들을 도출하였다. 다음으로는 사례 분석의 과정을 거쳐 시각화 원리를 수정하여 시각화 원리 초안을 도출하였다. 개발된 시각화 원리의 초안에 대한 타당성을 검증하기 위해 관련 분야의 전문가 6인을 대상으로 3차에 걸쳐 타당화를 받았다. 이후 시각화 원리를 활용할 것으로 예상되는 교수설계자, 웹디자이너, 컴퓨터프로그래머로 구성된 잠재적 사용자 6인을 대상으로 시각화 원리에 대한 사용성 평가를 실시하였다. 이들은 시각화 원리를 적용하지 않고 1차적으로 시각적 표상물 프로토타입을 개발하였고, 이후 시각화 원리를 반영하여 시각적 표상물의 프로토타입을 수정하였다. 이들이 개발한 시각적 표상물에 시각화 원리가 잘 적용되었는지에 대한 전문가 검토를 거쳐 최종 시각적 표상물이 설계되었다. 마지막으로 시각적 표상물 프로토타입에 대한 학습자의 반응을 평가하였다. 시각화 원리를 기반으로 개발된 시각적 표상물을 학습자에게 제시하고, 사용자 경험 중심의 반응 평가를 실시하였다. 이후 평가 결과를 반영하여 최종 시각화 원리를 개발하였다. 본 연구의 결과는 다음과 같았다. 첫째, 온라인 토론활동을 시각화하기 위한 대상으로는 ‘1) 참여도, 2) 학습자 간 상호작용, 3) 토론내용-중심단어, 4) 토론내용-메시지유형, 5) 토론내용-찬반의견분포’의 5개 범주가 알맞은 것으로 나타났다. 둘째, 온라인 토론에 대한 시각화의 원리로는 ‘1) 추적성(traceability)의 원리, 2) 비교성(comparability)의 원리, 3) 축약성(implicity)의 원리, 4) 전체-세부성(overview+detail)의 원리’의 4가지 원리가 도출되었다. 셋째, 시각화 원리를 적용한 시각화 결과물에 대한 사용자 평가는 유용성, 실용성, 심미성, 사용의도 등 전체 문항에 대해 높은 긍정적 반응을 얻은 것으로 나타났다. 이 연구의 결과물에는 각각의 시각화 대상과 각 원리들에 따른 상세 시각화 가이드라인이 첨부되어 제공되었다. 이상의 연구 결과에 기초하여 본 연구의 이론적 함의와 실천적 시사점, 그리고 연구 방법에 관한 논의를 하였다. 후속 연구로서 학습분석을 위한 토론활동에 대한 모델링 연구, 학습자의 특성을 고려한 시각적 표상물 개발에 관한 연구, 실제 맥락에서의 사용자 반응 평가 연구, 교수설계자, 시각 디자이너, 컴퓨터프로그래머 간의 관점 차이를 연결하는 종합자적 연구, 그리고 학습분석학의 특성을 반영하여 빅데이터를 자동으로 분석하여 시각화해주는 시스템의 설계 및 개발 등이 필요함을 제언하였다.

학습분석학적 접근을 통한 대학 군 이러닝 강좌 수강생의 학습행태 및 인식 분석

권유진 계명대학교 2018 국내석사

The purpose of this study was to analyze the learning behaviors of students who took e-learning courses for college students on duty of military service through a learning analytics approach, and to investigate the perceptions of students who took e-learning courses for college students on duty of military service. To achieve the purpose, following research questions were established. First, what are students' learning behaviors of e-learning depending on each factor? Second, what are the learning behavioral differences of e-learning depending on students' academic achievement? Third, what are the students’ perceptions on the e-learning courses for college students on duty of military service? The learning log data of 304 K university students for the last two years (2015∼2016) was analyzed, and the perception survey was conducted for students enrolled in the e-learning courses in spring semester of 2017. The data of learning logs and survey results were extracted as a MS-Excel format, those are classified and analyzed by the variables. The results of this study are as follows: First, students are consistent with taking e-learning courses intensively on Saturdays and Sundays and between 22:00 and 23:00. The average attendance ratio by week and the average frequency of content access by week are the highest in the first quarter(1st to 4th week). Also, the students whose military service period is from 11 months to 17 months show the highest on the frequency of content access and the learning time. However, students whose military service period is over 18 months show the least amount of learning. Second, according to the level of academic achievement, a high-achiever group studies regularly and invests more time on studying than a low-achiever group. Third, most of the students obtain information on e-learning courses for college students on duty of military service through the official documents and recommendations by senior soldiers or military mates. In addition, students usually take courses to acquire the credits of liberal arts. A lot of students usually take e-learning courses after 22:00, which is offered by the military for their study. Most of the students are satisfied with the e-learning courses. However, a lot of students dissatisfy on the tuition fees, and they have difficulties in report submission and taking exam due to the PC security and network problems. 본 연구에서는 일반대학에서 운영하고 있는 군 이러닝 강좌 수강생의 학습로그 데이터를 학습분석학적 관점에서 분석하여 이러닝 학습행태를 분석하고 이러닝 강좌 운영에 대한 수강생의 인식을 조사하고자 하였다. 연구 목적에 따른 구체적인 연구 문제는 다음과 같다. 첫째, 군 이러닝 강좌 수강생의 요인별 학습행태는 어떠한가? 둘째, 군 이러닝 강좌 수강생의 학업성취도 수준에 따라 학습행태에는 어떠한 차이가 있는가? 셋째, 군 이러닝 강좌 운영에 대한 수강생의 인식은 어떠한가? 본 연구를 위하여 D광역시 K대학교에서 최근 2년간(2015년∼2016년) 운영한 군 이러닝 강좌의 수강생 304명의 학습로그 데이터를 수집 및 분석하였고, 2017학년도 1학기에 운영된 군 이러닝 강좌 수강생을 대상으로 강좌에 대한 인식 설문조사를 실시하였다. 학습로그 데이터와 설문조사 결과는 MS-Excel 형식으로 추출하였고 연구 변인별로 분류하여 학습행태를 분석하였다. 본 연구의 결과는 다음과 같다. 첫째, 군 이러닝 강좌 수강생은 토요일과 일요일에, 22시∼23시 시간대에 집중적으로 강의를 수강하며 주차별 평균 수강지속비율과 주차별 평균 강의수강 빈도는 1분기(1주차∼4주차)에서 가장 높게 나타났다. 또한, 복무기간이 11개월∼17개월(상병)인 수강생의 1인당 강의수강 빈도와 1인당 강의수강시간이 가장 높게 나타났으며 18개월 이상(병장 이상)인 수강생이 가장 저조한 학습량을 보였다. 둘째, 학업성취도 수준에 따라 고성취 그룹이 저성취 그룹에 비해 학습량이 많으며 규칙적으로 강의를 수강하는 것으로 나타났다. 셋째, 대부분의 수강생이 공문과 입대 후 선임 및 동기의 추천을 통해 군 이러닝 강좌에 대한 정보를 습득하며, 주로 부족한 교양학점을 취득하기 위해 강좌를 수강한다. 강좌 수강은 주로 야간 학습연등시간(22시 이후)을 활용하는 것으로 나타났다. 대부분의 수강생이 강좌 운영에 대해 높은 만족도를 보였으나, 수강료에 대해서는 적절하지 않은 수준이라고 응답한 비율이 높았으며 군부대 내의 보안문제와 네트워크 문제로 인해 과제 제출과 시험 응시에 어려움을 겪은 수강생이 많은 것으로 나타났다.

학습분석 기반 온라인 학습활동 시간데이터 탐색

강수미 안동대학교 일반대학원 2024 국내박사

본 연구는 온라인 학습환경에서 학업성과에 영향을 미치는 중요한 요인 중 하나인 시간변수에 대해 학습분석학적 관점에서 심층적으로 탐구하였다. 연 구의 주된 목적은 온라인 학습환경에서 발생하는 다양한 학습활동 유형을 체계적으로 분석하고, 학습분석(Learning Analytics)을 기반으로 학습활동 시 간데이터를 효율적으로 분석 및 활용하는 데 초점을 맞추었다. 이를 위해, 측정 가능한 온라인 학습활동 유형을 통해 발생하는 시간데이터를 세분화하 여 분류하고, 이를 시각흔적데이터(clock trace data), 시간생성데이터(time generate data), 시간분석데이터(time analysis data)로 구분하여 개념화하였다. 연구를 수행하기 위해 Richey와 Klein(2007)의 설계·개발 연구(Design and development research)방법론을 적용하였으며, 연구 절차는 세 단계로 나누어 진행되었다. 첫째, 온라인 학습환경에서 온라인 학습활동과 학습행동 유형을 분석하여, 학습분석학에서 활용되는 다양한 데이터 유형과 특성을 식별하고, 이를 바탕 으로 온라인 학습활동 유형별 시간데이터를 도출하였다. 둘째, 전문가의 타당성 검증을 통해 1차 타당성 검증을 통해 얻은 결과를 바탕으로 시간데이터의 개념과 항목을 수정하였으며, 이후 2차 타당화 검증 을 실시하여 그 결과를 반영함으로써, 시간데이터의 개념과 데이터 항목을 더욱 정교화하였다. 마지막으로, 전문가 타당성 검증을 거친 후 수정 및 보완된 시간데이터의 실제 적용 가능성을 탐구하며, 시간분석데이터의 유형에 대한 개념과 구체적 인 활용 방안에 대한 내용을 제시하였다. 이 연구의 의의는 온라인 학습환경에서 실제로 발생하는 학습활동을 중심 으로 측정 및 분석이 가능한 시간데이터의 유형과 개념을 구체적으로 제시 하고, 그 기준을 마련한 데에 있다. 이는 기존의 학습분석학 연구에서 제시 된 총 학습시간, 학습 시점 간격의 규칙성, 학습 활동 빈도 등의 시간 변수 연구의 한계점을 개선하는 데 기여한다. 또한, 시간데이터의 명확한 측정을 위해 시각과 시간의 개념을 구분하고, 이를 세부적으로 분류함으로써, 시간 데이터의 측정을 보다 명확하고 객관적으로 수행할 수 있도록 한다. 이는 학 습자의 자기주도 학습을 지원하고, 학습자의 학습 행태를 이해하는데 핵심적 인 역할을 할 것으로 기대된다. * 주제어 : 학습분석, 온라인 학습환경, 온라인 학습활동, 시간데이터, 시간데이터 분류 체계

학습분석 기반 대시보드 구성에 대한 학습자 인식 분석

이지현 서울대학교 대학원 2016 국내석사

교육 분야에서 최적화된 학습 및 학습 환경을 이해하기 위하여 학습자와 그 상황적 맥락에 관한 정보를 측정, 수집, 분석, 보고하는 학습분석에 대한 관심이 높아지고 있다. 특히 학습분석 기반 대시보드는 여러 이해관계자들에게 학습분석의 결과를 시각적으로 제공하여 교수-학습의 긍정적 변화를 이끌어낼 수 있는 잠재력을 가진 학습 도구로서 커다란 가치를 지닌다. 다만 대시보드가 교수-학습 상황에 등장한지 불과 수년밖에 되지 않아 현재 급속히 확산되고 있는 것에 비하여 대시보드에 대한 기초적인 연구가 부족한 상태이다. 특히 학습자가 대시보드를 어떻게 인식하며 또 대시보드를 통해서 어떠한 정보를 알고 싶은지 등 학습자 측면에서의 연구는 전무한 실정이다. 본 연구는 학습자 인식에 바탕을 둔 대시보드의 설계를 위한 기초 연구로, 학습분석 기반 대시보드에 대한 학습자의 인식 공간의 내용을 탐구하고자 하였다. 구체적인 연구문제는 학습자는 학습분석 기반 대시보드를 몇 개의 차원으로 인식하며 또 그 각 차원에 포함되는 인식의 내용이 무엇인지 알아보는 것이었다. 연구방법으로는 특정 대상자의 인식을 토대로 대상을 분류하고 유형화할 수 있는 다차원척도법(multidimensional scaling; MDS)의 개인인식 공간 분석법을 활용하였다. 연구 참여자로는 대시보드를 사용한 경험이 있는 학습자 2명이 선정되었다. MDS에 사용된 연구대상으로는 세계적으로 인지도를 가지고 있으며 서로 차별화되는 11개의 대시보드가 선정되었다. MDS의 방법에 따라 연구 참여자들은 선정된 학습분석 기반 대시보드들을 두 개씩 쌍으로 하여 그 유사성을 5점 척도로 묻는 55개의 문항에 응답하였다. 수집된 자료는 ALSCAL 프로그램을 이용하여 분석되었고, 그 결과로 각 학습분석 기반 대시보드들의 좌표점과 지각도를 도출하였다. 그리고 결과를 해석하기 위해서 군집분석(clustering) 방법을 원용하였다. 연구결과에 따르면, 두 학습자 모두 대시보드를 3개의 차원으로 인식함이 확인되었다(학습자 1, Stress=.17, RSQ=.72; 학습자 2, Stress=.10, RSQ=.87). 학습분석 기반 대시보드의 구성 요소 분석, 각 대시보드의 전체 화면 비교, 그리고 연구 참여자와 전문가의 의견을 바탕으로 각 차원의 명칭이 붙여졌다. 하나(학습자 1)는 정보의 상대성, 정보의 질, 정보의 다지성이라 부를 수 있는 차원들이었고, 다른 하나(학습자 2)는 정보의 상대성, 학습 활동의 사회성, 정보의 정교성이라 부를 수 있는 차원들이었다. 이는 학습분석 관련 문헌들의 관심 주제들을 벗어나는 요소들을 포함하는, 보다 광범위한 차원들이었다. 결론적으로 학습분석 기반 대시보드 구성에 있어서 학습자의 인식에 바탕을 둔 학습자 중심 대시보드의 필요성과 함께 학습분석 정보의 생산과 제공에 대한 새로운 접근이 필요함이 드러났다. 본 연구는 체제적 관점에서 학습분석 기반 대시보드에 대한 학습자 중심 연구의 토대를 마련하였다는 데 의의가 있으며 본 연구를 통해 도출된 차원들은 학습분석 기반 대시보드 설계의 준거로 활용될 수 있을 것으로 전망된다.

초등과학영재 교육과정 학습내용분석 연구 : 창원교육지원청 영재교육원을 중심으로

강상훈 경남대학교 교육대학원 2014 국내석사

In this research, the contents of the Elementary science of the Gifted Education Center and the degree of deepened and accelerated learning of Changwon Office of Education Support in Kyeongsangnam-do were analyzed. The teaching plans of elementary science class of Masan, Changwon, and Jinhae Office of Education Support operated by Changwon Office of Education Support were analyzed. The frame of analysis was made based on the elementary science curriculum of the revised curriculum of 2009 and the elements of learning contents and the degree of deepened and accelerated learning of gifted education center was analyzed. The analysis results of this study are summarized as follows. First, in the area distribution of the 88 learning subjects of 5 classes of the subject institutions, the subjects which are at the level of elementary school accounted for 27%. Among classes, there were classes which had 45% of elementary level learning contents, while there were other classes which had no elementary level subject, which shows severe deviation among classes. Looking at each area, the proportion was energy (37.5%), materials (28.4%), life (12.5%), earth (4.5%), integrated area (13.6%) and other (31.8%). In other areas outside of the framework of analysis, study subjects were chosen in the order of energy, materials, life, the earth, showing that energy was the most selected subject. Other elements of curriculum were defined as the integrated area and they were divided into 9 areas and analyzed. The result was that the contents were mainly about making robots and submarines using creative thinking techniques and exploring scientific principles by themselves. The proportion of learning contents elements of other areas outside of the framework of analysis was 31.8% and physics(energy) 12.5%, chemicals(materials) 9.1%, which was the major portion, suggesting that movement, energy and materials areas were most commonly dealt with for learning subjects. Second, through the level analysis of the learning contents of the teaching plan which was implemented in the subject class, the degree of deepen learning and acceleration of learning was analyzed and the deepen learning subjects accounted for 40.9% and the acceleration learning subject accounted for 59.1%. In the learning contents of the curriculum for the gifted, the deepen and acceleration of learning should be appropriately allocated based on the national curriculum. Considering the fact that the beneficiaries of gifted education of offices of education support is only 15~20% of students, a question about the degree of understanding of the learning contents focused on the accelerated learning arises. The students selected through the gifted education center admission exams by the analysis of deepen and accelerated learning and learning contents analysis of Elementary science curriculum of Changwon gifted education center need deepened concept of education provided to students who cannot feel challenged in the regular classes. So the contents should have various areas appropriately and the level shouldn't be our of the frame of the regular curriculum and the contents should have connectivity. Thus, in the dimension of the whole education offices, the practitioners in charge of the curriculum and instructors for the gifted should have frequent consultations and build the foundation for the level of the learning contents and connectivity, and achieve the standardization of gifted education curriculum. 본 연구는 경상남도 창원교육지원청 영재교육원 초등과학 교육과정의 학습내용 및 심화·속진 정도를 분석하였다. 창원교육지원청에서 운영하는 마산, 창원, 진해교육지원청 초등과학반의 실행된 교육과정인 교수학습안을 분석대상으로 하였다. 2009 개정교육과정 초등과학교육과정을 기본으로 분석의 틀을 구안하여 영재교육원 초등과학반의 학습내용요소 분석 및 심화·속진정도를 분석하였다. 본 연구의 분석결과를 요약하면 다음과 같다. 첫째, 연구대상기관 소속 5개반의 학습주제 88개의 학습내용 영역분포 중 초등학교수준에 해당하는 비율은 전체의 27%로 나타났다. 학습내용으로 초등수준이 45%를 차지하는 반이 있는 반면 단 하나의 주제도 선택되지 않는 반이 있어 반별 편차가 심한 것을 알 수 있다. 영역별로 살펴보면 에너지(37.5%), 물질(28.4%), 생명(12.5%), 지구(4.5%), 통합영역(13.6%), 기타(31.8%)로 나타났다. 분석의 틀을 벗어난 기타영역의 경우에도 에너지, 물질, 생명, 지구 순으로 에너지영역을 가장 많이 학습주제로 선택되고 있음으로 나타났다. 교과 외 요소를 통합영역으로 정의하고 8개영역으로 나누어 분석한 결과 그 내용은 주로 창의적 사고기법을 활용한 로봇 만들기, 잠수함 만들기와 과학적 원리를 스스로 탐구하게 하는 학습내용이 주를 이루었다. 분석의 틀을 벗어나는 기타영역의 학습내용요소의 비율은 전체 31.8%를 차지하고 물리(에너지)12.5%, 화학(물질)9.1%이 주를 이루는 것으로 보아 기타영역 또한 에너지와 물질영역이 학습주제로 가장 많이 다루어진다는 것을 알 수 있다. 둘째, 연구대상반의 실행된 교육과정인 학습지도안의 학습내용 수준분석을 통해 심화·속진정도분석결과 심화학습주제는 전체 40.9%를, 속진학습주제는 59.1%를 차지하였다. 영재교육과정의 학습내용은 국가수준교육과정을 바탕으로 심화와 속진이 적절해 배분되어 있어야 한다. 교육지원청의 영재교육 수혜자가 상위 15%~20%내의 학생임을 감안할 때 속진위주로 진행되는 학습내용의 이해도는 얼마나 될까하는 의문점이 생긴다. 창원영재교육원 초등과학교육과정의 학습내용요소분석 및 심화·속진정도의 분석을 통해 영재교육원 선발전형을 통해 모집된 학생은 기존의 교실에서 도전감을 느낄 수 없는 학생에게 제공되는 심화개념의 교육이 필요하므로 다양한 영역이 골고루 분포하면서 그 내용의 수준이 정규교육과정의 틀을 벗어나지 않고 연계성을 지녀야한다. 따라서 범 교육청적인 차원에서 교육과정을 담당하는 실무자 및 영재강사 잦은 협의회를 통해 학습내용의 수준 및 연계성의 기초를 마련하여 영재교육과정의 표준화를 이루어야겠다.

학습분석학을 기반으로 한 교수자 피드백 분류체계 개발과 대시보드 설계

김은희 충북대학교 2017 국내박사

본 연구에서는 수업의 내용과 학습자의 특성을 고려하여 교수자가 학습자 개인별로 적합한 피드백을 줄 수 있도록 학습분석학 기반의 교수자 피드백 분류체계를 개발하고, 이를 적용할 수 있는 대시보드를 설계하였다. 첫 번째 교수자 피드백 분류체계 개발 단계에서는 수업의 학습결과 유형별로 피드백 전략을 제시한 가네(Gagné)의 피드백을 근거로 분류체계 기준을 정립하고, Spradley(1979)와 이용숙(2009)의 분류체계·성분분석법 도구를 사용하였다. 이 도구를 활용하여 Spradley 기반의 이용숙(2009)이 제시한 5가지의 질문 중, 대표적인 4가지 대체질문, 대조집합분류 질문, 유도된 대조질문, 등급질문이 적용되었다. 교수자가 활용할 수 있는 피드백 유형에 대한 추출 작업은 다음과 같이 진행되었다. 학자별로 제시된 피드백 유형에 대해 1차 피드백 분류 과정에서는 총 72개의 모든 피드백 유형을 추출하였고, 2차 분류 과정에서는 피드백 내용 중심의 유형과 관련된 피드백을 추출하였다. 최종적으로 단어적 의미가 동일하여 겹치는 것을 제거한 후, 3차 피드백 분류에서는 총 22개의 피드백이 추출되었다. 이 22개의 교수자 피드백을 기반으로 분류체계·성분분석법 도구를 활용하여 1차 분류기준인 피드백 대상의 학습참여, 2차 분류기준인 피드백 대상의 학습결과 유형, 3차 분류기준인 피드백 대상의 행동요구에 대한 학습수행 기준을 통해 교수자 피드백 분류체계를 정립하였다. 두 번째, 대시보드 설계 단계에서는 개발된 교수자 피드백 분류체계를 기반으로 학습분석학 관점의 LMS에서 추출 가능한 교육적 활용 데이터를 선정하였다. 이 데이터는 선행 연구를 근거로 대표변인과 측정변인이 추출되었으며, 교수자가 LMS에서 실제적으로 피드백을 줄 수 있는 형태의 대시보드 화면으로 설계되었다. 총 2회에 걸쳐 수행된 전문가 타당화 검사는 교수자 피드백 분류체계 전반의 적절성에 대한 평가 부분과 대시보드 전반의 적절성에 대한 평가를 요구하는 부분으로 진행되었다. 2회의 전문가 타당도를 거쳐 최종 제시된 교수자 피드백 분류체계를 정리하면 다음과 같다. 교수자 피드백 분류체계표 1차 분류기준은 피드백 대상 학습 참여도였고, 이는 학습자의 참여 유/무로 구분하였다. 1차 분류체계 기준은 대시보드의 학습참여도 메뉴로 연계되며, 학습참여도의 대표변인으로 선정된 LMS 추출 요소는 로그인, 학습정보확인, 강의자료학습 관련 데이터이다. 첫 번째, 대표변인 로그인의 측정변인은 로그인 횟수, 로그인 시간, 로그인 주기, 로그인당 페이지뷰이다. 두 번째 대표변인 학습정보확인의 측정변인은 공지사항을 조회한 횟수, 개별 메시지(이메일/쪽지)를 조회한 횟수, 학습진도/과정을 조회한 횟수이다. 세 번째 대표변인 강의자료학습의 측정변인은 동영상(wmv, mp4, 플래시, 게임, 시뮬레이션) 강의자료 보기 학습 시간, 오디오(mp3, wma) 강의자료 듣기 학습 시간, 텍스트형(hwp, word, ppt, pdf) 강의자료 읽기 학습 시간이다. 대표변인 3가지 로그인, 학습정보확인, 강의자료학습에 대한 학습자의 LMS 데이터 추출을 통해 학습참여도에 대한 값이 대시보드를 통해 제시된다. 교수자 피드백 분류체계표 2차 분류기준은 학습결과 유형으로 구분하였다. 교수자의 교과목 정보에 대한 자동 분석을 통해 Gagné의 학습결과 유형별 영역을 대시보드와 연계시켜 언어 정보 유형 수업, 지적 기능 유형 수업, 인지 전략 유형 수업, 태도 유형 수업, 운동 기능 유형 수업으로 분류된다. 교수자 피드백 분류체계표 3차 분류기준은 피드백 대상 행동요구이고, 이는 학습자의 학습수행도에 따라 결정되며 학습수행도가 낮으면 행동요구 유발이 필요하고, 학습수행도가 높으면 행동요구 유발이 필요없는 것으로 구분하였다. 3차 분류체계 기준은 대시보드의 학습수행도 메뉴로 연계되며, 학습수행도의 대표변인으로 선정된 LMS 추출 요소는 과제, 시험, 게시글 관련 데이터이다. 첫 번째, 대표변인 과제의 측정변인은 과제를 제출한 횟수이고, 두 번째, 대표변인 시험의 측정변인은 시험에 응시한 횟수이다. 세 번째, 대표변인 게시글의 측정변인은 대표적인 커뮤니티 메뉴의 토론방 게시판, 질의응답 게시판, 자료실 게시판에 등록된 건수이다. 대표변인 3가지 과제, 시험, 게시글에 대한 학습자의 LMS 데이터 추출을 통해 학습수행도에 대한 값이 대시보드를 통해 제시된다. 이렇게 교수자 피드백 분류체계표를 기반으로 교수자가 수업 상황별로 개별 학습자에게 적합한 피드백을 제공할 수 있도록 추천 피드백을 제시하였다. 대시보드 화면은 교수자 피드백 분류체계 분석표를 기반으로 교수자가 적합한 피드백을 제공하기 위한 추천 피드백을 제시하는 피드백 제공화면, 학습참여도 분석화면, 학습수행도 분석화면으로서 크게 3부분이 있고, 나머지 세부적인 분석정보를 각각 제공하는 로그인 분석 대시보드, 학습정보확인 분석 대시보드, 강의자료학습 분석 대시보드, 과제/ 시험 분석 대시보드, 게시글 분석 대시보드 화면으로서 총 8개의 화면으로 구성된다. 또한 이러한 모든 대시보드는 선행 연구에 근거하여 학습분석학 기반의 분석 정보 및 데이터에 따라 적합한 그래프 유형 및 표로 시각화 기법을 통해 적용되었다. 대표적으로 적용된 그래프 유형은 막대 그래프(Histogram), 꺾은선 그래프(Broken line graph), 원 그래프(Circle graph), 산점도(Scatter plot), 블록 히스토그램(Block histogram)이다. 현재 국내 교육 환경에서의 학습분석에 대한 연구는 초기 단계 수준이고, 디지털 학습 환경 기반의 교수자 피드백 체계화에 대한 연구도 미비한 것이 현실이다. 따라서 본 연구와 같은 교수자 피드백에 대한 분류체계를 정립하고 이를 기반으로 학습분석학 접근 방식의 수업에서 실제적으로 활용될 수 있는 체계화된 교수자 피드백 대시보드의 개발 연구가 필요하다. 본 연구를 통한 학습분석학 기반의 교수자 피드백 대시보드 제공은 추후 다각도의 연구방향을 설정하는 데 시사점을 줄 것으로 기대된다. 이러한 연구는 학습자에게 개별화된 피드백이 제공됨으로써 학습자의 학습을 촉진시키고, 교수자는 교수 활동을 개선할 수 있는 기틀을 마련해주는 계기가 될 것이다.

문제해결 교수학습을 지원하는 학습분석 시스템 프레임워크 개발 : 4C/ID 모형을 중심으로

문소연 이화여자대학교 대학원 2024 국내석사

With the advancement of big data technology, learning analytics has emerged to derive meaningful insights from the teaching and learning process by collecting and analyzing large amounts of data from these processes. As learning analytics is recently being recognized as the theoretical and technological foundation for operating digital teaching and learning platforms (Park & Jo, 2015), there has been growing academic and societal interest in the analysis of teaching and learning process data collected from such platforms and the use of learning analytics for platform design (Kim & Choi, 2021; Lepouras et al., 2014). The growing interest in utilizing learning analytics to support problem-solving teaching and learning arises from its ability to monitor learners' performance in real time and provide timely and appropriate feedback to facilitate effective problem-solving (Tempelaar et al., 2015). This study aims to explore the design principles proposed by van Merriënboer's 4C/ID model (van Merriënboer & Kirschner, 2018), a representative model for designing complex problem-solving teaching and learning. By combining this model with learning analytics, a framework for collecting, analyzing, and feeding back data in problem-solving teaching and learning processes based on the 4C/ID model was developed. Subsequently, the structure and components of the learning analytics system necessary for the framework's operation were structured, and the workflow of the learning analytics system according to the framework was derived. The specific research questions are as follows: [RQ1] What are the structure and characteristics of a learning analytics framework that supports the design and implementation of problem-solving teaching and learning based on the 4C/ID model? [RQ1-1] What are the characteristics of problem-solving teaching and learning based on the 4C/ID model and the key principles for its design? [RQ1-2] What are the structure and characteristics of a learning analytics framework that supports the design and implementation of problem-solving teaching and learning based on the 4C/ID model? [RQ2] What are the structure and characteristics of a learning analytics system that supports the design and implementation of problem-solving teaching and learning? [RQ2-1] What are the definition and characteristics of a learning analytics system that supports teaching and learning? [RQ2-2] What are the components of a learning analytics system that supports teaching and learning? [RQ2-3] What are the structure and characteristics of a learning analytics system that supports the design and implementation of problem-solving teaching and learning? To achieve the research objectives, this study first used a systematic literature review methodology to collect the necessary literature for drafting a learning analytics system framework that supports problem-solving teaching and learning. Specifically, prior research related to the 4C/ID model, learning analytics frameworks, and learning analytics systems were gathered. To adapt the structure and characteristics of the existing problem-solving teaching and learning design model, the 4C/ID model, for learning analytics purposes, this study followed a theory-informed inductive research procedure to analyze and synthesize relevant literature (Valpio et al., 2020). Subsequently, expert interviews were conducted to review the initial draft of the learning analytics system framework for supporting problem-solving teaching and learning. Based on the interview, the research results were revised, and a validation questionnaire was administered to experts for further review, leading to constructing the final draft. According to the PRISMA framework (Page et al., 2021), a total of 99 studies were selected for final analysis. The results derived from this analysis are as follows: First, this study explored and modeled ways to combine the four blueprint elements of the 4C/ID model, which form its backbone, with learning analytics approaches to support complex problem-solving teaching and learning. By applying the P-A-S model proposed by van Merrienboer and Sluijsmans (2009), this study identified ways to present customized sub-tasks and task classes to individual learners. This study discussed strategies for providing various types of scaffolding, such as supportive information, procedural information, and part-task practice, from a learning analytics perspective. Second, this study derived the structure of a learning analytics system that could operate on a digital teaching and learning platform based on the 4C/ID_LA framework. The derived system structure is divided into the database layer, analytics layer, and interface layer, with the sub-components necessary for each layer identified. Finally, this study detailed the workflows of learners and the system according to the stages of problem-solving teaching and learning within the 4C/ID_LA framework to examine whether the framework could be utilized for system design. The significance and limitations of this study are as follows: First, this study reconsidered the potential and possibilities of the 4C/ID model, recognized for its capacity to design complex problem-solving teaching and learning. The 4C/ID model aims to acquire the knowledge and skills needed to solve real-life tasks and whole-task solutions, aligning closely with the demand for problem-solving competence. This study confirmed the potential of using the 4C/ID model as a basis for supporting problem-solving teaching and learning in digital learning environments by thoroughly examining its key ideas and limitations. Second, this study aimed to adapt the 4C/ID model for designing adaptive teaching and learning systems by integrating it with learning analytics. By identifying points to consider or supplement in combining the learning analytics approach with the existing 4C/ID model, this study could develop a combined model where the teaching and learning design model and learning analytics approach enhance each other. Third, this study did not stop at combining the 4C/ID model with learning analytics but also structured a learning analytics system to increase the applicability of the derived model. By focusing on the activities and workflows of teaching and learning subjects rather than technical considerations first, this study aimed to improve the alignment between the learning analytics system and the teaching and learning process by designing the data and learning activities the system should collect and observe from the beginning. In summary, this study holds significance as an attempt to identify the pedagogical and instructional system design potential of learning analytics by promoting the integration of instructional theories and system design with learning analytics (Jo et al., 2019). Most notably, the greatest significance lies in establishing the theoretical and practical foundation for the design and implementation of a learning analytics system by educational technologists, rather than software engineers or information systems designers. The limitations of this study are as follows: First, a potential limitation is that the study used only the 4C/ID model as its core theoretical framework. Considering the characteristics of the 4C/ID model, it effectively defined the behaviors to be observed in the teaching and learning process, facilitating its connection with learning analytics (Jo et al., 2019). However, since the study results were derived from a single theory, future research should examine whether the proposed results can be supplemented with other teaching and learning theories and strategies by repeatedly designing and implementing problem-solving teaching and learning based on these results. Second, the scope of the literature reviewed excluded papers directly related to dashboards due to the use of keywords such as 'learning analytics architecture' and 'learning analytics system.’ Considering the importance of presenting information to teaching and learning subjects and designing meta-cognitive dashboards that support reflection in the overall problem-solving teaching and learning process, additional research on this aspect is necessary. Third, the structure and components of the derived learning analytics system were based on the literature and composed with teaching and learning design theories, meaning specific sub-components or connections within each layer might be replaced or excluded for technical compatibility or efficiency reasons during actual software layer composition. Therefore, additional technical reviews of the learning analytics system structure derived in this study are necessary. Fourth, the system framework and workflows derived in this study may be refined through the actual design and implementation of the learning analytics system based on these results. Consequently, it is expected that the designed learning analytics system and the study results will co-evolve as the design and implementation process progresses. 빅데이터 기술의 발전에 따라 교수학습 과정으로부터 데이터를 대량으로 수집하고 분석할 수 있게 되면서 교수학습 과정에 대한 의미 있는 인사이트를 도출하고자 학습분석학이 등장하였다. 학습분석학이 최근 디지털 교수학습 플랫폼을 작동하게 하는 이론적, 기술적 토대로 손꼽힘에 따라(박연정, 조일현, 2014; Park & Jo, 2015), 교수학습 플랫폼으로부터 수집된 교수학습 과정 데이터를 분석한다거나 플랫폼을 설계하기 위한 학습분석의 활용에 관해 학계와 사회의 이목이 쏠리고 있다(김은희, 최효선, 2021; Lepouras et al., 2014). 실시간으로 학습자의 수행을 모니터링하고 적시에 적절한 피드백을 제공하는 것이 학습자의 문제해결을 촉진한다는 점에서, 문제해결 교수학습을 지원하기 위한 학습분석학의 활용에 관한 논의가 이어지고 있다(Tempelaar et al., 2015). 이에 본 연구에서는 복잡한 문제해결 교수학습을 설계하기 위한 대표적인 모형인 van Merriënboer의 4C/ID 모형(van Merriënboer & Kirschner, 2018)에서 제시하는 설계 원리를 살펴보고자 하였다. 그리고 이를 학습분석과 결합하는 것을 통해 4C/ID 모형을 기반으로 하는 교수학습 과정에서의 데이터의 수집, 분석 및 환류의 구조를 수립함으로써 테크놀로지 기반 문제해결 교수학습의 설계와 실행을 지원하는 학습분석 프레임워크를 개발하였다. 이후, 이렇게 도출한 프레임워크가 작동할 수 있는 기반이 되는 학습분석 시스템의 구조와 구성 요소를 구조화하였고, 프레임워크에 따른 학습분석 시스템의 워크플로를 도출하였다. 이와 같은 연구 목적에 따라 설정한 구체적인 연구 문제는 다음과 같다. [연구 문제 1] 4C/ID 모형 기반의 문제해결 교수학습의 설계와 실행을 지원하는 학습분석 프레임워크의 구조와 특징은 무엇인가? 1-1. 4C/ID 모형을 기반으로 하는 문제해결 교수학습의 특성과 이를 설계하기 위한 핵심 원리는 무엇인가? 1-2. 4C/ID 모형을 기반으로 하는 문제해결 교수학습의 설계와 실행을 지원하는 학습분석 프레임워크의 구조와 특징은 무엇인가? [연구 문제 2] 문제해결 교수학습의 설계와 실행을 지원하는 학습분석 시스템의 구조와 특징은 무엇인가? 2-1. 교수학습을 지원하는 학습분석 시스템의 정의와 특징은 무엇인가? 2-2. 교수학습을 지원하는 학습분석 시스템의 구성 요소에는 무엇이 있는가? 2-3. 문제해결 교수학습의 설계와 실행을 지원하는 학습분석 시스템의 구조와 특징은 무엇인가? 이와 같은 연구 목적을 달성하기 위해 본 연구에서는 먼저, 체계적 문헌 고찰 방법을 활용하여 문제해결 교수학습을 지원하는 학습분석 시스템 프레임워크의 초안을 도출하는 데에 필요한 문헌을 수집하였다. 이를 위하여 크게 4C/ID 모형, 그리고 학습분석 프레임워크 및 학습분석 시스템과 관련된 선행 연구를 수집하였다. 4C/ID 모형이라는 기존의 문제해결 교수학습 설계 모형의 구조와 특징을 학습분석학적인 용도로 ‘적합화’하기 위해서, 해당 모형의 구조와 특성을 중심으로 귀납적으로 수집된 선행 문헌을 분석하고 종합하는 절차를 통해 이론적 프레임워크를 산출하였다(Valpio et al., 2020). 다음으로, 이렇게 도출한 문제해결 교수학습 지원 학습분석 시스템 프레임워크의 초안에 대한 검토를 위해 전문가 인터뷰를 진행하였다. 이후 인터뷰 내용을 참고하여 연구 결과를 수정한 후, 타당화 설문지를 통해 전문가들에게 재검토를 받아 최종안을 도출하였다. PRISMA 프레임워크(Page et al., 2021)에 따라서 총 99건의 문헌이 최종 분석 대상으로 선정되었다. 이에 대한 분석과 종합을 통해 도출한 연구 결과는 다음과 같다. 첫째, 학습자의 복잡한 문제해결 교수학습을 지원하기 위해 4C/ID 모형의 뼈대가 되는 네 가지 청사진 요소와 학습분석학적 접근의 결합 방안을 모색하고 이를 모형화하였다. van Merrienboer와 Sluijsmans(2009)의 연구에서 제시된 P-A-S 모형을 적용하여, 개별 학습자에게 맞춤화된 하위 과제와 과제 클래스를 제시하는 방안을 도출하였다. 그리고 지원 정보, 절차 정보, 부분 과제 연습과 같이 학습 과제 수행을 위한 여러 유형의 스캐폴딩을 제시하는 전략을 학습분석학적 관점에서 논하였다. 둘째, 이렇게 도출한 4C/ID_LA 프레임워크가 실제로 디지털 교수학습 플랫폼에서 작동하기 위한 학습분석 시스템 구조를 도출하였다. 도출한 시스템 구조는 크게 데이터베이스 레이어, 애널리틱스 레이어, 인터페이스 레이어로 나뉘며, 각 레이어를 구성하기 위한 하위 구성 요소를 규명하였다. 마지막으로, 4C/ID_LA 프레임워크에 따라 진행되는 문제해결 교수학습 단계에 맞추어 학습자와 시스템의 워크플로를 구체화하여 해당 프레임워크가 시스템의 설계를 위해 실제적으로 활용될 수 있는지 검토하였다. 본 연구의 의의는 다음과 같다. 먼저, 복잡한 문제해결 교수학습 설계 모형으로 꼽히는 4C/ID 모형의 잠재력과 가능성에 대해 재고찰하였다는 데에 의의가 있다. 실생활 과제 및 전체 과제 해결을 위한 지식과 기술의 습득을 목표로 하는 4C/ID 모형은 문제해결 역량 함양에 대한 요구와 밀접하게 맞닿아 있다. 이러한 점에서 본 연구에서는 4C/ID 모형을 디지털 교수학습 환경에서의 문제해결 교수학습을 지원하는 기반으로 활용하기 위한 가능성을 확인할 수 있었다. 둘째, 본 연구는 4C/ID 모형이라는 교수학습 설계 모형을 학습분석과 결합하는 것을 통해 적응형 교수학습 체제 설계를 위한 이론적 틀로 적합화 및 증강하고자 하였다는 의의를 지닌다. 이때, 학습분석학적 접근을 결합하는 데에 있어서 기존의 4C/ID 모형에서 고려하거나 보완해야 할 지점들을 규명하는 것을 통해, 교수학습 설계 모형과 학습분석 접근이 서로를 증강하는 형태로 결합 모형이 도출될 수 있었다. 셋째, 본 연구는 단순히 4C/ID 모형과 학습분석을 결합하는 데에서 그치지 않고 이렇게 도출된 모형의 적용 가능성을 높이기 위해서 이를 작동시키기 위한 학습분석 시스템을 구조화하였다. 이때 기술적인 고려가 우선이 아닌, 교수학습 주체의 활동과 워크플로를 중심으로 하여 시스템이 수집하고 관찰해야 할 데이터와 학습 활동부터 설계하는 것을 통해서 학습분석 시스템과 교수학습 과정의 유기적 연결성을 높인 것이다. 요컨대, 본 연구는 교수학습 이론 및 체제 설계와 학습분석학의 연계를 도모한다는 점에서 학습분석학이 지닌 교수학습 및 교수학습 체제 설계적 잠재력을 확인하려는 시도로서의 의의를 지닌다(조일현 외, 2019). 무엇보다도, 소프트웨어 공학자나 정보 시스템 설계자가 아닌 교육공학자에 의해서 학습분석 시스템의 설계 및 실행을 위한 이론적이고 실제적인 기틀을 마련하였다는 것이 가장 큰 의의이다. 본 연구의 한계점은 다음과 같다. 첫째, 본 연구의 핵심이 되는 이론적 틀로서 4C/ID 모형 하나만을 사용하였다는 것이 한계로 지적될 수 있다. 4C/ID 모형의 특성을 고려하였을 때 교수학습 과정에서 관찰해야 할 행동을 명확하게 정의하고 있어 학습분석(조일현 외, 2019)과의 연결이 잘 이루어졌다. 그럼에도 단 하나의 이론으로부터 연구 결과가 도출되었다는 점을 고려하여, 본 연구에서 제시한 결과들을 활용하여 문제해결 교수학습을 설계하고 실행하는 것을 반복하며 다른 교수학습 이론 및 전략을 보완할 수는 없는지에 관해 검토해 보아야 한다. 둘째, 본 연구에서 학습분석 시스템 구조를 도출하는 데에 있어 ‘학습분석 아키텍처’, ‘학습분석 시스템’과 같은 검색어를 활용하다 보니, 대시보드와 관련된 문헌들은 분석 대상에서 제외되었다. 특히, 4C/ID와 P-A-S의 과정을 고려하였을 때 교수학습 주체들에게 어떻게 정보가 제시되어야 할지, 그리고 전반적인 문제해결 교수학습 과정에서 인지적, 정의적 측면뿐만이 아니라 성찰을 지원하는 메타적 대시보드 설계가 매우 중요한 만큼 이에 관한 추가적인 연구가 필요하다. 셋째, 도출된 학습분석 시스템의 구조와 구성 요소는 수집된 문헌을 바탕으로 구성되었으며, 교수학습 설계 이론을 기반으로 하여 시스템 워크플로가 구성되었다. 따라서 각 레이어를 이루는 세부적인 하위 요소나 요소 간의 연결에 있어 기술적 호환이나 구현 과정에서의 성능 효율성과 같은 이유에 의해 다른 것으로 대체되거나 배제될 가능성이 존재한다. 이러한 이유로 본 연구에서 도출된 학습분석 시스템 구조도에 관해서는 기술적인 검토가 추가로 이루어질 필요가 있다. 넷째, 본 연구에서 도출된 시스템 프레임워크나 워크플로는 실제로 이를 토대로 학습분석 시스템을 설계하고 실행해 보는 과정에서 보완될 수 있다는 특징을 지닌다. 따라서, 실제로 본 연구 결과를 토대로 시스템을 설계하고 실행하는 과정이 진행됨에 따라, 설계된 학습분석 시스템과 함께 본 연구 결과 역시 보완되고 발전할 것으로 기대한다.