학습분석학을 기반으로 한 교수자 피드백 분류체계 개발과 대시보드 설계

국문 초록 (Abstract)

본 연구에서는 수업의 내용과 학습자의 특성을 고려하여 교수자가 학습자 개인별로 적합한 피드백을 줄 수 있도록 학습분석학 기반의 교수자 피드백 분류체계를 개발하고, 이를 적용할 수 있는 대시보드를 설계하였다. 첫 번째 교수자 피드백 분류체계 개발 단계에서는 수업의 학습결과 유형별로 피드백 전략을 제시한 가네(Gagné)의 피드백을 근거로 분류체계 기준을 정립하고, Spradley(1979)와 이용숙(2009)의 분류체계·성분분석법 도구를 사용하였다. 이 도구를 활용하여 Spradley 기반의 이용숙(2009)이 제시한 5가지의 질문 중, 대표적인 4가지 대체질문, 대조집합분류 질문, 유도된 대조질문, 등급질문이 적용되었다. 교수자가 활용할 수 있는 피드백 유형에 대한 추출 작업은 다음과 같이 진행되었다. 학자별로 제시된 피드백 유형에 대해 1차 피드백 분류 과정에서는 총 72개의 모든 피드백 유형을 추출하였고, 2차 분류 과정에서는 피드백 내용 중심의 유형과 관련된 피드백을 추출하였다. 최종적으로 단어적 의미가 동일하여 겹치는 것을 제거한 후, 3차 피드백 분류에서는 총 22개의 피드백이 추출되었다. 이 22개의 교수자 피드백을 기반으로 분류체계·성분분석법 도구를 활용하여 1차 분류기준인 피드백 대상의 학습참여, 2차 분류기준인 피드백 대상의 학습결과 유형, 3차 분류기준인 피드백 대상의 행동요구에 대한 학습수행 기준을 통해 교수자 피드백 분류체계를 정립하였다.
두 번째, 대시보드 설계 단계에서는 개발된 교수자 피드백 분류체계를 기반으로 학습분석학 관점의 LMS에서 추출 가능한 교육적 활용 데이터를 선정하였다. 이 데이터는 선행 연구를 근거로 대표변인과 측정변인이 추출되었으며, 교수자가 LMS에서 실제적으로 피드백을 줄 수 있는 형태의 대시보드 화면으로 설계되었다.
총 2회에 걸쳐 수행된 전문가 타당화 검사는 교수자 피드백 분류체계 전반의 적절성에 대한 평가 부분과 대시보드 전반의 적절성에 대한 평가를 요구하는 부분으로 진행되었다. 2회의 전문가 타당도를 거쳐 최종 제시된 교수자 피드백 분류체계를 정리하면 다음과 같다.
교수자 피드백 분류체계표 1차 분류기준은 피드백 대상 학습 참여도였고, 이는 학습자의 참여 유/무로 구분하였다. 1차 분류체계 기준은 대시보드의 학습참여도 메뉴로 연계되며, 학습참여도의 대표변인으로 선정된 LMS 추출 요소는 로그인, 학습정보확인, 강의자료학습 관련 데이터이다. 첫 번째, 대표변인 로그인의 측정변인은 로그인 횟수, 로그인 시간, 로그인 주기, 로그인당 페이지뷰이다. 두 번째 대표변인 학습정보확인의 측정변인은 공지사항을 조회한 횟수, 개별 메시지(이메일/쪽지)를 조회한 횟수, 학습진도/과정을 조회한 횟수이다. 세 번째 대표변인 강의자료학습의 측정변인은 동영상(wmv, mp4, 플래시, 게임, 시뮬레이션) 강의자료 보기 학습 시간, 오디오(mp3, wma) 강의자료 듣기 학습 시간, 텍스트형(hwp, word, ppt, pdf) 강의자료 읽기 학습 시간이다. 대표변인 3가지 로그인, 학습정보확인, 강의자료학습에 대한 학습자의 LMS 데이터 추출을 통해 학습참여도에 대한 값이 대시보드를 통해 제시된다.
교수자 피드백 분류체계표 2차 분류기준은 학습결과 유형으로 구분하였다. 교수자의 교과목 정보에 대한 자동 분석을 통해 Gagné의 학습결과 유형별 영역을 대시보드와 연계시켜 언어 정보 유형 수업, 지적 기능 유형 수업, 인지 전략 유형 수업, 태도 유형 수업, 운동 기능 유형 수업으로 분류된다.
교수자 피드백 분류체계표 3차 분류기준은 피드백 대상 행동요구이고, 이는 학습자의 학습수행도에 따라 결정되며 학습수행도가 낮으면 행동요구 유발이 필요하고, 학습수행도가 높으면 행동요구 유발이 필요없는 것으로 구분하였다. 3차 분류체계 기준은 대시보드의 학습수행도 메뉴로 연계되며, 학습수행도의 대표변인으로 선정된 LMS 추출 요소는 과제, 시험, 게시글 관련 데이터이다. 첫 번째, 대표변인 과제의 측정변인은 과제를 제출한 횟수이고, 두 번째, 대표변인 시험의 측정변인은 시험에 응시한 횟수이다. 세 번째, 대표변인 게시글의 측정변인은 대표적인 커뮤니티 메뉴의 토론방 게시판, 질의응답 게시판, 자료실 게시판에 등록된 건수이다. 대표변인 3가지 과제, 시험, 게시글에 대한 학습자의 LMS 데이터 추출을 통해 학습수행도에 대한 값이 대시보드를 통해 제시된다.
이렇게 교수자 피드백 분류체계표를 기반으로 교수자가 수업 상황별로 개별 학습자에게 적합한 피드백을 제공할 수 있도록 추천 피드백을 제시하였다. 대시보드 화면은 교수자 피드백 분류체계 분석표를 기반으로 교수자가 적합한 피드백을 제공하기 위한 추천 피드백을 제시하는 피드백 제공화면, 학습참여도 분석화면, 학습수행도 분석화면으로서 크게 3부분이 있고, 나머지 세부적인 분석정보를 각각 제공하는 로그인 분석 대시보드, 학습정보확인 분석 대시보드, 강의자료학습 분석 대시보드, 과제/ 시험 분석 대시보드, 게시글 분석 대시보드 화면으로서 총 8개의 화면으로 구성된다. 또한 이러한 모든 대시보드는 선행 연구에 근거하여 학습분석학 기반의 분석 정보 및 데이터에 따라 적합한 그래프 유형 및 표로 시각화 기법을 통해 적용되었다. 대표적으로 적용된 그래프 유형은 막대 그래프(Histogram), 꺾은선 그래프(Broken line graph), 원 그래프(Circle graph), 산점도(Scatter plot), 블록 히스토그램(Block histogram)이다.
현재 국내 교육 환경에서의 학습분석에 대한 연구는 초기 단계 수준이고, 디지털 학습 환경 기반의 교수자 피드백 체계화에 대한 연구도 미비한 것이 현실이다. 따라서 본 연구와 같은 교수자 피드백에 대한 분류체계를 정립하고 이를 기반으로 학습분석학 접근 방식의 수업에서 실제적으로 활용될 수 있는 체계화된 교수자 피드백 대시보드의 개발 연구가 필요하다.
본 연구를 통한 학습분석학 기반의 교수자 피드백 대시보드 제공은 추후 다각도의 연구방향을 설정하는 데 시사점을 줄 것으로 기대된다. 이러한 연구는 학습자에게 개별화된 피드백이 제공됨으로써 학습자의 학습을 촉진시키고, 교수자는 교수 활동을 개선할 수 있는 기틀을 마련해주는 계기가 될 것이다.

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1. 연구의 필요성 및 목적 1
• 2. 연구문제 3
• Ⅱ. 이론적 배경 4
• 1. 피드백 4
• 2. 가네(Gagn)의 피드백 23
• 3. 분류체계분석과 성분분석 28
• 4. 학습분석학 33
• 5. 학습관리시스템 37
• 6. 대시보드 40
• Ⅲ. 연구방법 45
• 1. 연구절차 45
• 2. 연구도구 48
• 3. 자료분석 51
• Ⅳ. 연구결과 67
• 1. 교수자 피드백 분류체계 개발 67
• 2. 대시보드 설계 90
• 3. 교수자 피드백 분류체계와 대시보드 연동 122
• Ⅴ. 논의 및 결론 124
• 1. 요약 124
• 2. 논의 127
• 3. 의의 및 시사점 129
• 참고문헌 131
• 부 록 143

참고문헌 (Reference)

1. 학습심리 (상), 이중석, 청주: 한국교원대학교 출판부, , 1996

2. 국어교육: 대학, 염민호, 김현정, 새국어교육, 83, 311-336, , 2009

3. 학교학습심리학, 안범희, 하우, 하우, 145, , 1993

4. 교육측정 및 평가, 김학수, 서울: 학문사, , 1983

5. 교수 학습의 이론적 탐색, 전성연, 원미사, 서울: 원미사, , 2001

6. Gagne와 Merrill의 교수이론 비교, 왕경수, 한국교육과정학회, 교육과정연구, 17(2), 297-311, , 1999

7. 스마트 러닝을 위한 Lms 2.0 탐색, 배희은, 국내석사학위논문. 경희대 학교 교육대학원, , 2012

8. 고등교육에서 Moodle 을 이용한 LMS 구축, 오병주, 유인식, 한국정보과학회, 정보과학 회지, 30(5), 63-69, , 2012

9. 분류체계 성분분석법 재개발 실행연구, 이용숙, 한국열린교육학회, 열린교육연구, 17, 99-128, , 2009

10. 도덕과 교육에서의 칭찬활용 방안 연구, 엄서현, 국내석사학위논문. 이 화여자대학교 교육대학원, , 2015

11. 교육정보화를 통한 e-평생학습사회 구현, 황대준, 한국방송통신대학교 원격교육연구소, 평생학습사회, 1(2), 41-60, , 2005

12. 국어과 읽기 평가에서의 피드백 효과 연구, 김형진, 고려대학교 교육대학원, 국내석사학위논문. 고려대학교 교육대학원, , 2003

13. 학습관리시스템(LMS/LCMS) 기능 설 계 연구 보고서, 조용상, 박인우, 장상현, 홍철기, 한국교육학술정보원, , 2004

14. 웹기반 학습에서의 교류적 피드백 개발전략 탐색, 정현주, 이화여자대학교 교과교육연구소, 교과교육학 연구, 11(1), 213-233, , 2007

15. 연습문제 피드백을 적용한 일반 화학 수업의 효과, 이주희, 이화여자대학교 교육대학원. 국내석사학위논문, , 2009

16. Bandura의 사회학습이론을 적용한 미술수업모형 개발, 김현민, 단국대학교 대학원. 국내석사학위논문, , 2014

17. 대학간 이러닝 운영관리를 위한 Lms 연동모형의 구현, 남윤성, 박사 논문. 강원대 학교 대학원, , 2009

18. 스마트교육에서 발생 하는 교육 빅 데이터 활용방안, 최광선, 정의석, 유인식, 박충식, 김성진, 최제영, 한국지능정보시스템학회, 한국지능정보시스템학회 2012 년 춘계학 술대회, 144-148, , 2012

19. 웹활용 수업 확산의 장애요인 탐색을 위한 사례연구, 김미량, 한국교육공학회, 교육공학 연구, 14(3), 55-73, , 1998

20. 개인차를 고려한 평가 피드백 수업 모형 개발 및 적용, 유은정, 서울대학교 대학원. 국내석사학위논문, , 2000

21. 고등교육 학습관리시스템(lms) 기준모형개발 기획 연구, 임진혁, 범수균, 김영미, 한국교육학술정보원, , 2010

22. 메시지 내용분석을 통한 전자우편의 교육적 활용 연구, 정혜선, 최성희, 한국교육공학회, 교육공학연구, 14(2), 167-181, , 1998

23. 웹 기반 수업에서 상호작용 증진을 위한 교수전략 탐구, 최정임, 한국교육공학회, 교육 공학연구, 15(3), 129-149, , 1999

24. 학습자 참여도 증진을 위한 피드백 구조의 다각화 방안, 이효정, 학습자중심교과교육학회, 학습 자중심교과교육연구, 15(3), 377-400, , 2015

25. 디지털 매체 활용 포럼연극 수업설계의 개념 모형 개 발, 임철일, 김선희, 한국교육공학회, 교육공학연구, 32(3), 453-486, , 2016

26. 교육관리시스템의 성공적 도입에 영향을 주는 요인 연구, 전동욱, 국내 석사학위논문. 한양대학교 경영대학원, , 2002

27. 빅데이터를 활용한 맞춤형 교육 서비스 활성화 방안연구, 권영옥, 한국지능정보시스템학회, 한국 지능정보시스템학회 2013 년 춘계학술대회, 90-96, , 2013

28. 상호작용적 웹기반 수업 설계를 위한 종합적 모형의 탐색, 임철일, 한국교육공학회, 교 육공학연구, 15(1), 3-20, , 1999

29. LCMS(Learning Content Management System) 기반의 e-Learning개발과 적용, 이준, 한국교육정보방송학회, 교육정보미디어연구, 8(2), 93-113, , 2002

30. 교사의 피드백 수행을 위한 구성요인 및 특성에 관한 연구, 지은림, 서울대학교 교육연구소, 아 시아교육연구, 10(3), 77-102, , 2009

31. 상호작용 관점에서 조망해 본 웹 기반 교육의 이론적 기저, 임정훈, 한국교육공학회, 교 육공학연구, 15(3), 29-49, , 1999

32. 표준화 이슈리포트 : 학습 분 석 기술 활용 가능성 및 전망, 조용상, Robert J. Abel, 신성욱, 유재택, 한국교육학술정보원, , 2013

33. 인성 발달을 위한 상호작용 기 반 인성교육 실천 방안 탐색, 장경숙, 정창우, 우연경, 이동엽, 송성민, 한국윤리교육학회, 윤리교육연구, 40, 1-27, , 2016

34. 문제중심학습이 학습양식에 따라 문제해결력에 미치는 효과, 윤은애, 석사학위논문. 한국교원대학교 대학원, , 2007

35. 웹 기반 토론 학습에서 시각적 피드백에 대한 학습자의 인식, 나리리, 서울대학교 대학원, 국내석사학위논문. 서울대학교 대학원, , 2015

36. 이러닝 학습환경에서 학습분석기반 대시보드 연구동향 분석, 유미나, 진성희, 한국교육정보미디어학회, 교육정보미디어연구, 21(2), 185-213, , 2015

37. 피드백 유형이 토론 수업의 태도 및 내용에 미치는 효과 연구, 정진희, 한국독서교육학연구회, 독서교육연구, -(4), 53-73, , 2009

38. 피드백 유형이 토론 수업의 태도 및 내용에 미치는 효과 연구, 정진희, 경기대학교 국제문화대학원, 국내석사학위논문. 경기대학교 국제문화대학원, , 2008

39. 이러닝 학습참여활동 및 상호작용에 대한 대시보드 설계 연구, 유미나, 진성희, 김태현, 한국교육공학회, 교육공학연구, 31(2), 191-221, , 2015

40. 무용동작유형별 피드백제공방식에 따른 동작수행 및 학습효과, 문영, 국민대학교 종합예술연구소, 예술논총, 6(-), 135-150, , 2003

41. 오답노트를 활용한 형성평가 피드백이 수학학습에 미치는 효 과, 박병문, 국내석사학위논문. 한국교원대학교 교육대학원, , 2007

42. 창의적 문제해결을 위한 이러닝 지원시스템 설계원리 개발연 구, 홍미영, 국내박사학위논문. 서울대학교 대학원, , 2012

43. 영어 어휘 학습에서 피드백이 성취도와 자기효능감에 미치는 영향, 한세희, 이화여자대학교 대학원, 국내석사학위논문. 이화여자대학교 대학원, , 2008

44. 국내외 가상교육 운영시스템 사례를 통한 교수-학습지 원 기능비교, 이혜경, 강명희, 한국기업교육학회, 기업교육연구, 2(1), 31-51, , 2000

45. 지식의 유형과 Cai 피이드백 방식의 조합이 개념획득에 미치는 효과, 이재경, 서울대학교, 국내석사학위논문. 서울대학교, , 1991

46. 효율적인 교수기능의 개발을 위한 교수단서 및 피드백의 제공 방법, 이기천, 한국코칭능력개발원, 코칭능력개발지, 6(3), 31-38, , 2004

47. 청소년의 자기주도적 학습에서 메타인지 학습전략 활 용에 관한 연구, 이경민, 이윤주, 학습자중심교과교육학회, 학습자중심교과교육연구, 14(6), 273-299, , 2014

48. 가네(Robert mills gagne)의 학습이론을 적용한 효과적인 합창 지도 방안 연구, 김정은, 국내석사학위논문. 연세대학교 교육대학원, , 2008

49. 교정적 피이드백 제공자의 차이가 학업성취 및 학습태도에 미 치는 효과, 양원자, 국내석사학위논문. 충남대학교, , 2001

50. 영어 형성평가후 교정적 피드백이 학업 성취 및 학습 태도에 미치는 영향, 박애란, 국내석사학위논문. 전북대학교 교육대학원, , 2009

51. 컴퓨터활용교육: 웹 기반 교정적 피드백 유형 이 학업성취도에 미치는 영향, 백장현, 장세희, 김영식, 컴퓨터교육학회논문지, 5(3), 59-67, , 2002

52. 피드백 유형이 학습양식에 따라수학과 내적 동기와 학업성취에 미치는 효과, 서길주, 박사학위논문. 전북대학교 대학원, , 2003

53. 해외 학습분석학(Learning Analytics) 연구에 대한 동향 분석: 실증 연구 중심으로, 배윤희, 고윤미, 안미리, 최윤영, 한국교육정보미디어학회, 교육정보미디어연구, 21(4), 601-643, , 2015

54. 대학교육에서 학습분석 적용에 관한 탐색적 연구: 교수자의 관점을 중심으로, 고욱, 신종호, 최재원, 한국교육공학회, 교육공학연구, 31(2), 223-252, , 2015

55. 대학 강의 지원을 위한 학습관리시스템의 활용과 사용자 만족 도에 관한 연구, 권세환, 국내석사학위논문. 계명대학교 대학원, , 2012

56. 영어 어휘 테스트에 대한 피드백 유형이 성취도와 자 기효능감에 미치는 영향, 한세희, 주영주, 이화여자대학교 교과교육연구소, 교과교육학연구, 12(3), 649-667, , 2008

57. 보강적 피드백의 제시시기와 제시방법에 따른 리듬체 조 후프 동작 학습의 효과, 육동원, 김지수, 한국스포츠심리학회, 한국스포츠심리학회지, 14(4), 63-79, , 2003

58. 웹활용 수업 확산의 장애요인 탐색을 위한 사례연구: 학습자의 지각을 중심으로, 김미량, 한국교육공학회, 교육공학연구, 14(3), 55-73, , 1998

59. 초등영어 말하기 수업에서 교정적 피드백이 학습자의 자기효능 감에 미치는 영향, 김젤라, 숙명여자대학교 교육대학원, 국내석사학위논문. 숙명여자대학교 교육대학원, , 2014

60. 학습분석학 관점에서 학습자의 자기주도학습 지원을 위한 학습 데이터 탐색 연구, 유미나, 진성희, 성은모, 한국교육공학회, 교육공학연구, 32(3), 487-533, , 2016

61. 학습분석학을 활용한 e-러닝 학업성과 추정 모형의 통계적 유의성 확보 시점 규명, 조일현, 김정현, 한국교육공학회, 교육공학연구, 29(2), 285-306, , 2013

62. 디지털 학습 환경에서 학습자 중심 피드백 설계 원리 및 전략에 대 한 이론적 탐색, 이지현, 한국교육공학회, 교육공학연구, 29(3), 517-540, , 2013

63. 웹기반 수업에서 자기조절 기능 수준에 따른 피드백 유형이 학 업성취에 미치는 효과, 임진표, 대구교육대학교 교육대학원, 국내석사학위논문. 대구교육대학교 교육대학원, , 2005

64. 회원 발표 논문: 교사의 교정적 피드백이 자기 효능감 향상과 학업성취에 미치는 영향, 서길주, 신동로, 교육과정연구, 19(1), 319-342, , 2001

65. 웹기반 문제중심학습에서 자기효능감수준과 피드백유형이 지식 구성단계에 미치는 영향, 박재흥, 중앙대학교 대학원, 국내박사학위논문. 중앙대학교 대학원, , 2012

66. 웹기반 학습환경에서 학습양식이 학업성취 및 웹기반 학습자 지원기능 선호에 미치는 영향, 권정희, 이재경, 한국교육공학회, 교육공학연구, 18(4), 111-138, , 2002

67. 온라인 학습 환경에서 학습양식과 피드백 유형이 학습자 반응 및 문제해결능력에 미치는 영향, 최은하, 충남대학교 교육연구소, 교육연구논총, 29(1), 79-102, , 2008

68. The role of CAI feedback in acquiring declarative and hierarchical knowledge in the context of social science concept learning, 나일주, 국내박사학위논문, s.n, , 1988

69. 쓰기를 활용한 교수학습 방법과 교정적 피드백 이 수학 학업성취도와 자기효능감에 미치는 영향, 신동로, 왕경수, 김경희, 한국교육방법학회, 교육방법연구, 19, 1-20, , 2007

70. 학습분석학적 관점에서 개발한 시각화 대시보드가 학업성 취도에 미치는 영향에 대한 탐색적 연구, Kang, J. S., 이화여자대학교 대학원, 국내석사학위논문. 이화여자대학 교 대학원, , 2014

71. 이러닝 형성평가의 교정적 피드백 방식이 학습자의 학업성취도 와 학업적 자기효능감에 미치는 영향, 이빛나, 국내석사학위논문. 한국교원대학교 대학원, , 2015

72. [분류체계/성분분석 결과를 통합 분석하여 설문조사 문항으로 발전시키기] 교육프로그램 개발 실행연구, 이용숙, 열린교육연구, 23, 157-186, , 2015

73. 학습관리시스템의 대시보드 설계를 위한 학습자 중심 요구분석: 분석과 설계 도구로서 활동이론의 적용, 박연정, 조일현, 한국교육공학회, 교육공학연구, 30(2), 221-258, , 2014

74. 인터넷을 활용한 가상수업에서의 교수-학습 활동 및 교육 효과 연구-한국방송대학교 인터넷 가상수업 교과목, 임정훈, 교육공학연구, 14(2), 103-128, , 1998

75. 국어과 온라인 토론 학습에서 교사의 학습 촉진 멘트의 유형이 학습자의 참여도, 성취도, 만족도에 미치는 영향, 정미정, 국내석사학위논문. 이화 여자대학교 교육대학원, , 2004

76. 웹 기반 토론학습에서 교수자의 토론촉진전략에 따른 학습자의 인지적 참여도, 사회적 참여도, 만족도와의 관계 연구, 박정미, 한정선, 한국교육정보미디어학회(구 한국교육정보방송학회), 교육정보 미디어연구, 13(1), 5-30, , 2007