원격교육 시대의 인공지능 활용 온라인 평가 = A Study on the Online Assessment using Artificial Intelligence for Distance Education

국문 초록 (Abstract)

본 연구에서는 원격교육 상황에서 평가 방안으로 인공지능 챗봇을 활용한 쓰기 평가 모델을 제안하고 영어과의 사례를 통해 그 가능성을 탐색하였다. 이를 위해 현재 상용 서비스를 제공하고 있는 대표적인 챗봇 가운데 하나인 미추쿠를 활용하였으며, 학생들은 미추쿠와의 대화를 통해 글을 쓰기 위한 자료를 얻고 이를 바탕으로 글쓰기를 완성하였다. 또한 인공지능을 활용한 온라인 평가 방식의 가능성을 탐색하기 위해 오프라인 평가의 점수와 온라인 평가의 점수를 비교·분석하였고 실험에 참여한 학생들을 대상으로 한 설문을 통해 챗봇 기반 온라인 평가의 유용성과 개선점에 대한 의견을 조사하였다. 미추쿠를 활용한 온라인 쓰기 평가에서 학생들은 기존의 오프라인 평가보다 통계적으로 유의한 수준에서 더 높은 점수를 받았으며, 이와 같은 결과는 이러한 온라인 쓰기 평가가 학생들의 변별보다는 학생들이 더 나은 글을 쓰는 본질적인 목표에 초점을 둘 수 있다는 점에서 의미가 있다. 설문 결과에서 학생들은 미추쿠와의 대화를 통한 영어 글쓰기가 영어 실력의 향상에 기여하고, 원격수업에서 흥미도와 참여도를 높일 수 있을 것으로 전망하였다. 오늘날과 같은 인포데믹 사회에서 영어 쓰기 역량은 정보처리능력까지도 포함하는 능력으로 재정의되고 있다. 이런 측면에서 본 연구에서 제안한 인공지능 챗봇을 활용한 영어 쓰기 평가는 이러한 영어 쓰기 역량을 보다 타당하게 평가할 수 있는 방안인 동시에 타 교과의 원격교육에서도 학생들의 능력을 공정하고 객관적으로 평가할 수 있는 대안으로 적용가능하리라 사료된다.

다국어 초록 (Multilingual Abstract)

In the present study, we proposed an online writing assessment model using an artificial intelligence chatbot in the distance education environment and explored its feasibility in English education. To this end, Mitsuku, one of the most advanced chatbots was adopted. The participants obtained cultural information through some chitchat with Mitsuku and referred to the information for writing their essay. In order to investigate the possibility of the chatbot-based online assessment for distance education, we compared the results of the traditional paper and pencil writing test and the chatbot-based online writing test. In addition, we also surveyed the students on the usefulness and improvement of the chatbot-based online test. The results show that the students gained significantly higher scores in the online test compared to those of the offline test. This is a critical finding, which means that the students could have a chance to improve their writing by chatting with Mitsuku. The survey results also show that the students believe chatting with Mitsuku would contribute to improving their English competence and increasing their interest and participation in distance education. In the current infodemic society, the competence of writing in English includes the information processing ability, and thus the English writing assessment using an AI chatbot proposed in this study would be an more appropriate way for assessing this kind of English competence. In conclusion, it was also suggested that the online assessment using AI could be applied to other subjects as well.

목차 (Table of Contents)

• Ⅰ. 서 론 Ⅱ. 이론적 배경 Ⅲ. 평가 문항 개발 및 절차 Ⅳ. 평가 결과 Ⅴ. 결론 및 논의 참고문헌

참고문헌 (Reference)

1 김인숙, "형성평가시스템 활용을 통한 단위학교의 형성평가 지원 방안" 한국교육과정평가원 21 (21): 181-199, 2018

2 박종임, "평가 패러다임 변화에 따른 온라인 형성평가 시스템의 발전 방향 -국어과 온라인 형성평가 시스템 사례 분석을 중심으로-" 교육연구원 31 : 41-60, 2015

3 교육부, "체계적인 원격수업을 위한 운영 기준안 마련" 교육부

4 교육부, "처음으로 초·중·고·특 신학기 온라인 개학 실시" 교육부

5 교육부, "전국 모든 유·초·중·고 신학기 개학 연기 결정 및 중국 입국 유학생 보호관리 방안 보완 조치 마련" 교육부

6 양혜진, "인공지능 음성챗봇기반 초등학교 영어 말하기 수업 연구" 한국멀티미디어언어교육학회 22 (22): 184-205, 2019

7 김재상, "인간과 인공지능 기기의 상호작용이 EFL 환경에서 초등학생들의 협업적 언어습득에 미치는 영향" 광주교육대학교 교육대학원 2017

8 황상연, "웹을 기반으로 한 학습자 진단 및 조언 시스템 구현" 193-201, 1999

9 교육부, "원격수업 출결평가기록 가이드라인 안내" 교육부

10 권형규, "온라인 상호작용 및 사용자 인터페이스에 따른 자기 주도적 평가 및 운영을 위한 웹 기반 평가 시스템의 설계 및 구현" 18 (18): 123-155, 2002

11 이문복, "온라인 기반 고등학교 말하기 수행평가 지원 시스템 개발 및 시범적용" 한국멀티미디어언어교육학회 20 (20): 167-185, 2017

12 김혜영, "영어교과 보조 도구로서의 AI 챗봇 분석 연구" 학습자중심교과교육학회 19 (19): 89-110, 2019

13 교육부, "영어과 교육과정(교육부 고시 제2015-74호)"

14 주헌우, "영어 쓰기 시험에서 콘코던서(Concordancer) 활용이 학생들의 영어 쓰기 수행력에 미치는 영향" 한국교육 과정평가원 2012

15 신동광, "영어 쓰기 능력 향상을 위한 AI 챗봇 활용 방안 탐색" 교육연구원 35 (35): 41-55, 2019

16 추성엽, "영어 상호작용 촉진을 위한 과업 기반 AI 챗봇 활용 및 학생 발화 분석" 한국초등영어교육학회 25 (25): 27-52, 2019

17 김성숙, "문항구성 모의실험을 통한 온라인 학업성취도 평가 시스템 분할점수 자동설정 방안 탐색" 한국교육평가학회 31 (31): 631-651, 2018

18 Guinness World Records, "Most Loebner Prize wins"

19 Wikipedia, "Mitsuku"

20 Bachman, L. F., "Language testing reconsidered" University of Ottawa Press 41-71, 2007

21 Bachman, L., "Language assessment in practice" Oxford University Press 2010

22 김나영, "Effects of Voice Chat on EFL Learners’ Speaking Ability according to Proficiency Levels" 한국멀티미디어언어교육학회 19 (19): 63-88, 2016

23 Fryer, L., "Bots as language learning tools" 10 (10): 8-14, 2006

24 국가평생교육진흥원, "2016 글로벌 평생교육동향(이슈페이퍼 11-B552881-000002-10)" 국가평생교육진흥원