온라인 토론 성찰을 지원하는 대시보드 기반 챗봇 개발 = A Developmental Study on a Dashboard-based Chatbot for Reflection on Online Discussion

다국어 초록 (Multilingual Abstract)

In online discussion, reflection can help learners actively participate in discussions and interact with others, and for this purpose, dashboards have been used with other media. Online discussion learning helps learners to understand discussion topics in depth, to think critically about the topics through interactions with other learners, and to have appropriate communication attitudes and abilities. Effective discussion learning requires learners to actively participate in discussion and interact with other learners, and for this purpose, it is necessary to reflect on discussion learning. To help learners effectively reflect on their discussion, data from the online discussion can be visualized in the form of a dashboard. Dashboards can help learners reflect on their learning processes and results by easily looking back on them. In addition, reflection prompts and interactions with instructors or learners have been used together to help learners reflect through dashboards.
However, the media previously used for dashboard-based reflection has several limitations. First, when reflecting with reflection prompts, learners are not adaptively provided with feedback when they have difficulty in reflection. In order for reflection to affect discussion, the quality of reflection is important, so it is necessary to provide help for learners to reflect effectively. In addition, learners have emotional problems of reflecting on their shortcomings in the process of reflection, but it is difficult to provide help for the emotional problems when reflecting with reflection prompts, and it is rather burdensome to reveal their shortcomings when reflecting with others. A Chatbot can supplement the limitations of existing media in that it can provide adaptive support to learners' answers and relieve learners' emotional burden by empathizing with learners as a conversation partner.
Therefore, the goal of this study is to create a dashboard-based reflection chatbot that may assist students in actively reflecting while providing cognitive and emotional help to learners. The research questions of this study are as follows. First, what are the design principles and development guidelines of the chatbot for dashboard-based reflection in online discussions? Second, what are the structure and functions of the developed chatbot? Third, what are learners’ perceptions of the chatbot?
To anwer the research questions, the design and development research methodology Type 1 was used. In the analysis stage, the literature review and need analysis of learners were conducted, which revealed the problems of existing media for dashboard-based reflection and the ways a chatbot can supplement them. Based on the results of the analysis, the design principles and development guidelines of the chatbot for promoting dashboard-based reflection in online discussion were derived, and the internal validity of the principles was ensured by three experts. Then, the scenario for the chatbot was designed and a dashboard-based reflection chatbot was finally developed. The developed chatbot was evaluated by five learners in the first usability test, followed by revisions. The second usability test is then conducted, which is different from the first one in that it was conducted in the context of the actual online discussion class. Four learners participated in the test and their perceptions of the chatbot were collected through usability test questionnaires and individual in-depth interviews.
As a result of the study, the design principles and development guidelines of the reflection chatbot were derived, the chatbot was developed, and the learner's perception of the chatbot was also confirmed. First, the design principles of a chatbot for dashboard-based reflection are largely composed of three design principles: adaptive feedback, social presence, and learner initiatives, and 10 detailed design principles in them. The principle of adaptive feedback was based on the chatbot’s characteristic that can give adaptive support to learners' chat contrary to prompt-based documents. The detailed design principle of the adaptive feedback principle consists of providing feedback to learners at each stage of reflection to understand the dashboard's important meaning, to recognize their strengths and weaknesses during the discussion, and to set and accomplish learning goals the subsequent discussion. The principle of social presence is to allow learners to feel intimacy in conversations with a chatbot so that they can be more engaged in reflection. The characteristics of a chatbot are connected to social presence so that learners could regard a chatbot as an interlocutor and have intimacy with it. Lastly, the principle of learner initiative is the principle that a chatbot provides help, but learners should take the initiative in reflection. To prevent situations in which learners unilaterally follow the prescription of the chatbot, the chatbot first requires the learner to answer reflection questions and provides help only when it is necessary. It also allows learners to recognize the need for reflection and work with a motive for reflection. After developing the design principle, development guidelines were derived to indicate how to develop the chatbot for dashboard-based reflection.
The developed chatbot helps learners reflect on their discussion based on three dashboards, and set and implement goals for the next discussion. the chatbot operates following the reflection model based on Kolb's reflection model : ‘checking dashboard – thinking over learning experience – setting goal – executing goal’. And the stages are linked to the reflection criteria of three dashboards(discussion participation dashboard, participation time dashboard, and interaction network dashboard). Using the chatbot, Learners can check their dashboards and evaluate their learning through the criteria presented by the chatbot or the criteria they decide by themselves. The chatbot’s evaluation of learners’ learning is also presented after the learners’ evaluation, and learners compare their evaluation with that of the chatbot and make a final evaluation. The chatbot provides questions adaptive to learners’ evaluation for their discussions to let them think about their learning in detail. After the learners answer the questions, they set goals for the next discussion based on the reflection of prior stages. The chatbot recommends appropriate goals to help learners set goals and provides adaptive question prompts to elaborate on the goals. After setting the goals, the learner goes through a process of practicing the goal in the next discussion. The chatbot aids learners to accomplish their goals by allowing learners to identify and modify goals at any time and adaptively providing reminders according to learners' goals. When learners use the chatbot again after the discussion, the chatbot makes the learner reflect on whether they have achieved the goals they set and reflect it when setting the goal in the following reflection.
The response of learners who used the chatbot appears to be generally positive. The survey revealed that learners found the chatbot useful and convenient to use, and thus learners had a positive attitude toward the chatbot and were willing to continue using them in the future. The interview also revealed that learners thought that the features of the chatbot, such as dashboards, questions, reflection criteria, and conversation with the chatbot, had a positive effect on their reflection and that the chatbot allowed them to reflect on their learning through interaction unlike prompt-based reflection document, and conversation with the chatbot was not burdensome compared to a conversation with people. However, the effect of the chatbot should be examined in the long term and it should offer more adaptable feedback based on the learner's situation.
In conclusion, the implications of this study are as follows. First, this study is meaningful in that it constructed a dashboard-based reflection framework by closely connecting Kolb's reflection model and dashboard in online discussion. Second, this study also confirms the advantages and disadvantages of chatbot as a reflection medium in three aspects: adaptive feedback, learner initiative, and social presence. Finally, in terms of research methodology, the method used to make the chatbot in this study can also be effectively utilized when developing a chatbot following the Design Development Research Type 1 methodology. For need analysis, a method of observing and interviewing learners while letting them experience the learning activity that researchers want to investigate can be useful, and the Wizard of OZ methodology, which involves users interacting with chatbots while researchers pretend to be a chatbot, can also be used to confirm learners' perceptions of the chatbot scenario. Therefore, this study makes a theoretical contribution to reflection and a methodological contribution to chatbot development in an online discussion, while having practical implication by developing the actual chatbot.

국문 초록 (Abstract)

온라인 토론 학습에서 성찰은 학습자가 토론에 적극적으로 참여하고 상호작용하는데 도움을 줄 수 있으며, 이를 위해 대시보드가 다른 매체와 함께 활용되어왔다. 온라인 토론 학습은 학습자들이 다른 학습자와의 상호작용을 통해서 토론 주제를 깊이 있게 이해하고 비판적으로 사고하도록 하며 학습자들이 적절한 의사소통 태도와 능력을 가질 수 있도록 한다. 효과적인 토론 학습을 위해서는 학습자들이 적극적으로 토론에 참여하고 상호작용하는 것이 필요하며, 이를 위해서 토론 학습에 대해서 성찰하는 것이 도움이 된다. 토론 데이터를 시각화하여 제시한 대시보드는 자신의 학습의 과정이나 결과를 쉽게 돌아보도록 함으로써 학습자들의 성찰을 도울 수 있다. 또한 대시보드를 통해 학습자들이 성찰하는 것을 돕기 위해서 성찰 프롬프트나 교수자나 학습자와의 상호작용이 함께 활용되어왔다.
그러나 기존에 대시보드 기반 성찰을 위해서 활용되던 매체는 여러 한계점을 가지고 있다. 우선, 성찰 프롬프트를 바탕으로 성찰할 경우에는 학습자들이 성찰에 어려움을 겪을 때 적응적으로 도움을 제공받지 못한다. 성찰이 토론 학습에 영향을 미치기 위해서는 성찰의 질이 중요하기 때문에 학습자들이 효과적으로 성찰할 수 있도록 도움을 제공할 필요가 있다. 또한 학습자들은 성찰 과정에서 자신의 부족한 점을 돌아보는 것에 대해서 정서적인 부담을 느끼지만 프롬프트를 활용한 성찰에서는 이러한 학습자의 정서적 측면에 도움을 제공하기 어려우며, 다른 사람과 상호작용할 경우에 자신의 부족한 점을 드러내는 것이 오히려 부담이 된다. 챗봇은 학습자의 답변에 따라서 적응적으로 답변을 제공할 수 있고, 대화 상대로서 학습자들에게 공감함으로써 학습자들의 정서적인 부담을 덜어줄 수 있다는 점에서 기존 매체의 한계를 보완할 수 있다.
따라서 본 연구에서는 학습자들에게 상호작용을 통해 인지적 정서적 도움을 제공하면서 대시보드를 기반으로 온라인 토론을 성찰하여 참여와 상호작용을 높일 수 있도록 돕는 챗봇을 개발하고자 한다. 본 연구의 연구 문제는 다음과 같다. 첫째, 온라인 토론에서 학습자들의 대시보드 기반 성찰을 돕기 위한 챗봇 설계원리는 무엇인가? 둘째, 온라인 토론에서 학습자들의 대시보드 기반 성찰을 돕기 위한 챗봇은 어떠한 구조와 기능을 가지는가? 셋째, 온라인 토론에서 학습자들의 대시보드 기반 성찰을 돕기 위한 챗봇의 사용성은 어떠한가?
이러한 연구 문제를 해결하기 위해서 설계개발연구 방법론 Type 1에 따라 연구를 진행하였다. 분석 단계에서는 문헌분석, 학습자 대상 요구분석을 통해서 온라인 토론 학습 맥락에서 대시보드 기반 성찰에 대한 어떤 요구가 존재하며, 챗봇이 어떻게 활용되어야 하는지에 대한 정보를 수집했다. 분석에서 확인한 내용을 바탕으로 온라인 토론 학습에서 대시보드 기반 성찰을 촉진하기 위한 챗봇의 설계원리와 개발지침를 도출하고 전문가 3인의 타당화를 받았다. 도출된 설계원리와 개발지침으로 챗봇 시나리오를 개발하였고 이를 바탕으로 대시보드 기반 성찰 챗봇을 개발하였다. 개발된 챗봇에 대해서 학습자 5인을 대상으로 1차 사용성 평가를 진행하였고, 학습자의 인식을 토대로 챗봇을 수정하였다. 2차 사용성 평가는 실제 온라인 토론 수업 맥락에서 진행되었다는 점에서 1차 사용성 평가와는 차이가 있으며, 학습자 4인을 대상으로 하였다. 사용성 평가 설문지와 개별 심층 면담을 통해서 챗봇에 대한 학습자의 인식을 확인하였다.
연구 결과, 성찰 챗봇의 설계원리와 개발지침을 도출했으며 이를 통해 실제 챗봇을 개발하였고, 챗봇에 대한 학습자의 인식을 확인하였다. 먼저, 대시보드 기반 성찰 챗봇의 설계원리는 크게 적응적 상호작용, 사회적 실재감, 학습자 주도성의 3가지 설계원리와 그 아래 10가지 세부 설계원리로 구성된다. 적응적 상호작용의 원리는 챗봇이 프롬프트 기반 학습지와는 달리 학습자의 답변에 따라서 적응적인 상호작용을 할 수 있다는 특징에 기반하여 만들어졌다. 적응적 상호작용의 원리의 세부 설계원리는 성찰의 각 단계에서 학습자가 대시보드의 중요한 의미를 이해하고, 토론 학습에서 자신이 잘한 점과 부족한 점을 확인하고, 그에 따라서 다음 학습을 위한 학습 목표를 세우고, 목표를 실행하도록 하기 위해 적응적으로 상호작용하는 내용으로 구성된다. 사회적 실재감의 원리는 학습자가 대화상대로서 챗봇에게 친밀감을 느껴 학습자가 성찰에 더 몰입할 수 있도록 하기 위한 원리이다. 본 연구에서는 이러한 챗봇의 특성을 사회적 실재감과 연결하여 학습자가 챗봇을 대화상대로 여기고 친밀감을 가질 수 있도록 하였다. 마지막으로 학습자 주도성의 원리는 챗봇이 도움을 제공하되, 학습자가 주도적으로 성찰할 수 있도록 하기 위한 원리이다. 학습자가 챗봇의 처방을 일방적으로 따르는 상황을 방지하기 위해서 챗봇은 우선적으로 학습자가 성찰 질문에 답변하도록 하고, 필요한 경우에만 도움을 제공한다. 또한 학습자가 성찰의 필요성을 인식하여 성찰에 동기를 가지고 임할 수 있도록 한다. 설계원리를 개발한 후에는 이를 실제로 어떻게 챗봇으로 구현할지에 대한 내용을 담은 개발지침을 도출하였다.
그 결과로 개발된 성찰 챗봇은 3개의 대시보드를 기반으로 학습자들이 자신의 토론 학습을 돌아보고 다음 토론을 위한 목표를 설정하고 실행하는 것을 돕는다. 챗봇은 Kolb의 성찰 모형을 바탕으로 대시보드 확인 – 학습 돌아보기 - 목표 설정 - 목표 실행 단계로 성찰을 진행하며, 이를 3개의 대시보드(토론 글과 댓글 대시보드, 참여 시기 대시보드, 상호작용 네트워크 대시보드)의 성찰 기준과 연결하여 전체 성찰 단계와 긴밀하게 대시보드와 연결되도록 하였다. 학습자들은 챗봇을 통해서 자신의 대시보드를 확인하고 챗봇이 제시하는 기준이나 스스로가 선택한 기준을 통해서 자신의 학습을 평가한다. 이 때 챗봇의 평가가 제시되어 학습자는 자신의 평가와 챗봇의 평가를 비교하면서 최종적인 평가를 하게 된다. 챗봇은 학습자의 평가에 따라서 학습자가 자신의 학습을 구체적으로 돌아볼 수 있는 질문을 제공한다. 학습자가 질문에 답변한 후에 챗봇은 성찰한 내용을 바탕으로 다음 토론을 위한 목표를 세우도록 한다. 챗봇은 학습자가 목표를 세울 수 있도록 돕기 위해서 적절한 목표를 추천해주며 목표를 구체화하도록 돕는다. 목표를 설정한 후에 다음 토론에서 학습자는 목표를 실천하는 과정을 거치게 된다. 챗봇은 학습자가 언제든지 목표를 확인하고 수정할 수 있도록 하며, 학습자의 목표에 따라서 적응적으로 리마인드를 제공한다. 학습자가 다음 토론 후에 다시 챗봇을 활용할 때 챗봇은 학습자가 자신이 설정한 목표를 달성했는지 돌아보도록 하고 이를 다음 성찰에서 목표를 세울 때 반영할 수 있도록 한다.
챗봇을 사용해 본 학습자들의 반응은 전반적으로 긍정적인 것으로 나타난다. 설문 결과를 보았을 때, 학습자들은 챗봇이 유용하고 사용하기 편리하게 여기며, 그에 따라서 학습자들은 챗봇에 대한 긍정적인 태도를 가지고 지속적인 사용 의향이 있는 것으로 나타났다. 면담 결과를 보았을 때도, 학습자들은 대시보드, 질문, 기준, 발화 같은 챗봇의 구성요소들이 성찰에 긍정적인 영향을 미친다고 보았으며, 다른 성찰 매체와 비교했을 때 챗봇과의 대화는 사람과의 대화에 비해서 부담스럽지 않으며, 학습지와 달리 챗봇을 통해서는 상호작용할 수 있다는 것을 긍정적으로 인식하였다. 그러나 챗봇이 장기적인 관점에서 활용될 필요가 있으며, 챗봇이 학습자의 상황에 따라서 더 유연하게 상호작용할 필요가 있다고 보았다.
연구의 과정과 결과를 보았을 때, 본 연구의 의의는 다음과 같다. 첫번째로, 본 연구는 온라인 토론에서 Kolb의 성찰 모형과 대시보드를 긴밀하게 연결하여 대시보드 기반 성찰 프레임워크를 구성했다는 점에서 의의가 있다. 두번째로, 적응적 상호작용, 학습자 주도성, 사회적 실재감 3가지 측면에서 성찰 매체로서 챗봇의 장점과 단점을 확인했다는 의미가 있다. 마지막으로 연구 방법적 측면에서 설계개발연구 Type1 방법론에 따라 챗봇을 개발할 때 효과적으로 활용될 수 있는 방법을 확인하였다. 요구분석을 위해 실제 학습 활동을 하는 학습자를 관찰하고 면담하는 방식이 활용될 수 있으며, 연구자가 챗봇의 역할을 하는 Wizard of OZ 방법론은 챗봇 시나리오에 대한 학습자의 인식을 확인하기 위해서 활용될 수 있다. 본 연구는 온라인 토론 수업에서 활용될 수 있는 챗봇을 만들었다는 실제적인 의미가 있으면서도, 온라인 토론에서 성찰에 대한 이론적 기여와 챗봇 개발에 대한 방법론적 기여를 한다는 점에서 의미를 가진다.

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1. 연구의 필요성 및 목적 1
• 2. 연구문제 7
• 3. 용어의 정리 8
• 가. 온라인 토론 학습 8
• 나. 대시보드 기반 성찰 8
• 다. 챗봇 8
• Ⅱ. 이론적 배경 9
• 1. 온라인 토론학습에서 성찰 9
• 가. 성찰의 개념과 성찰 모형 9
• 나. 온라인 토론 학습에서 성찰 14
• 다. 온라인 토론 학습에서 대시보드를 활용한 성찰 17
• 2. 성찰 프롬프트 25
• 가. 성찰 프롬프트의 의미 25
• 나. 성찰 프롬프트의 설계 29
• 3. 성찰 챗봇 35
• 가. 교육에서 챗봇의 활용 35
• 나. 성찰 챗봇 40
• III. 연구방법 44
• 1. 연구 참여자 45
• 2. 연구 절차 46
• 3. 연구 도구 50
• 가. 연구 타당화 도구 50
• 나. 챗봇 개발 도구 51
• 다. 온라인 토론 대시보드 52
• 라. 챗봇 캐릭터 이모티콘 개발 도구 53
• 마. 사용성 평가 도구 54
• 4. 자료 수집 및 분석 56
• 가. 설계원리 및 개발지침에 대한 전문가 내적 타당화 56
• 나. 챗봇 사용성 평가 56
• Ⅳ. 연구결과 58
• 1. 설계원리 및 개발지침 58
• 가. 설계원리 58
• 나. 개발지침 64
• 2. 대시보드 기반 성찰 챗봇 67
• 가. 대시보드 기반 성찰 프레임워크 68
• 나. 챗봇 구조 및 기능 80
• 3. 학습자 반응 91
• 가. 사용성 평가 설문 결과 91
• 나. 사용성 평가 면담 결과 98
• Ⅴ. 논의 및 결론 113
• 1. 논의 113
• 가. 온라인 토론에서 대시보드 기반 성찰 활동 113
• 나. 성찰활동 매체로서 챗봇의 특징 116
• 다. 챗봇 설계개발연구 방법 122
• 2. 결론 125
• 3. 한계 및 제언 128
• 참 고 문 헌 131
• 부 록 151
• Abstract 194