e-learning 강의평가 도구의 일반화가능도와 평가활용의 최적화 조건 = Optimizing measurement conditions for students" evaluation of e-learning system using generalizability study

국문 초록 (Abstract)

  최근 대학에서의 온라인 강좌 또는 이러닝 강의는 언제 어디서나 필요한 학습내용을 학습자 주도로 습득할 수 있는 환경을 제공한다는 점과 대학재정과 학사운영상의 효율성이 맞물려 빠른 속도로 파급되고 있다. 연구의 목적은 이러닝 강좌를 위한 강의평가도구를 개발하고 평가도구의 타당성과 일반화가능성을 점검하고 시행과 활용을 위한 측정조건을 제시하고자 하였다. 이러닝 강의평가도구의 구인은 다른 평가유형과 차별하여 교수방법, 학습성취, 전반영역, 그리고 기술지원시스템 영역으로 개발하였다, 일반화가능도 이론을 적용하여 이러닝 강좌에 대한 수강학생의 강의평가결과를 분석한 결과 평가영역과 평가문항에 대한 오차보다 각 강좌내 학생으로 인한 오차가 크게 나타났다. 또한 개별 문항 간 차이에 의한 분산은 매우 작았고 각 강좌내 학생이 각 평가영역에 응답하는 차이가 상대적으로 크게 나타났다. 결정연구에서 평가영역, 평가문항과 학생 수를 조절함으로써 적정수준의 일반화 가능도 계수를 추정하였고 학생 수를 늘리는 것이 문항이나 영역 수를 늘리는 것보다 효율적이었다. 특히 평가문항을 세분화하여 개발하여왔던 기존의 강의평가도구를 지양하고 10-15개 정도의 문항으로 평가도구를 구성할 수 있는 가능성을 제안하였다. 무엇보다도 학생이 응답할 때 강의평가의 목적, 평가영역, 채점기준, 학생간 학생 내 일관성에 대한 교육이 선행되어야 신뢰성 있는 결과를 확보할 수 있고 의미있게 활용할 수 있다.

다국어 초록 (Multilingual Abstract)

  The e-learning is an alternative approach for instruction of higher order thinking against delivery of traditional knowledge. It is needed to establish quality control and practical evaluation criteria for e-learning courses. The quality assurance should be built by not only designing. planning, developing and implementing contents but students" evaluating an e-learning course. The purpose of this study, therefore, is to develop an evaluation instrument for e-learning courses and is to analyze data from students" evaluation to investigate generalizability of an e-learning evaluation system. Based on 992 students" evaluation results of 8 e-learning courses, in combination with applying descriptive statistics and generalizability theory, the study explaines multiples soursed of errors that arise in the e-learning course evaluation and to estimate an optimal condition to increase generalizability. G theory is useful in detecting various error components in an evaluation instrument, G theory is clearly a comprehensive method for designing, assessing, and improving the dependability of measurement procedures. A process of rating each course (professor) especially contains a number of potential sources of error associated with students, with domains, with items, and with their combinations. The results shows that increasing the number of students effects on estimating a better generalaizability coefficient than increasing the number of domains of instrument or items of instrument effectively. Also, it investigates relative influence of each facet on a measure and the reliability of decision estimating from data collection. A special suggestion made for improving student"s evaluation of e-learning is to prepare a well-designed instruction for students why and how to evaluate the course in order to get a reliable and valid results.

목차 (Table of Contents)

• 한국어 초록
  Ⅰ. 연구의 필요성과 목적
  Ⅱ. 이론적 배경
  Ⅲ. 연구 방법
  Ⅳ. 연구 결과
  Ⅴ. 결론 및 논의
  참고문헌
  저자소개
  ABSTRACT
  

참고문헌 (Reference)

1 "한국대학의 강의평가실태 분석" 23 (23): 379-403, 2005

2 "학습객체에 비추어 본 지식경영과 e-Learning의 통합가능성과 한계" 17 (17): 53-89, 2001

3 "채점의 변동요인 분석방법에 대한 고찰 일반화가능도 이론과 다국면 라쉬모형의 적용과 재해석" 14 : 303-325, 2001

4 "지식경제 시대의 평생학습 모형개발 평생학습 지원수단으로서의 e-Learning 연구" 금융지식연구소 2002

5 "일반화가능도 이론, 교육, 심리, 사회, 연구법 총서" 교육과학사 2001

6 "이러닝 평가의 구성 요소 및 평가 준거에 관한 소고" 9 : 73-94, 2001

7 "이러닝 코스의 수월성 확보를 위한 질 관리 평가준거 연구" 10 (10): 159-192, 2004

8 "웹 기반 훈련 프로그램 분석을 통한 가상교육 발전 전략 탐색" 16 (16): 137-154, 2000

9 "웹 기반 교육 체제의 질 관리 모형 개발 연구" 19 (19): 149-177, 2003

10 "원격교육기관의 질 확보 체제" 6 (6): 89-108, 2000

11 "대학 학사과정 강의평가제 실태분석을 통한 교육업적 평가 모형 개발연구" 2001

12 "교수설계 이론에 근거한 대학 강의평가 도구개발을 위한 기초연구" 17 (17): 81-108, 2001

13 "강의평가제도 개선방안" 인하대학교 교무처 2004

14 "강의평가 설문지에 관한 문항분석 연구" 7 (7): 263-283, 1994

15 "가상교육원격체제의 질 관리를 위한 평가 모형의 개발" 4 (4): 1-10, 2001

16 "가상교육에서의 강좌평가 도구 개발" 연세대학교 2001

17 "e-learning 기술 및 발전추세" 6 (6): 5-14, 2002

18 "e-learning 강의평가 보이는 것과 보이지 않는 것" 한국교육과정평가원 2004

19 "e-Learning 의 평가연구 문헌조사를 중심으로" 34 (34): 73-94, 2003

20 "comparative analysis of the ratings in performance assessment using generalizability theory and manyfacet Rasch model" 2002

21 "The Promise and Perils of E-learning" 2 28 (28): 482-492, 2000

22 "Scoring and analysis of performance examinations a comparison of methods and interpretations" 1 (1): 219-238, 1997

23 "Mannual for GENOVA: A Generalized analysis of variation system" 43 : 1983

24 "Keys to successful e-learning Outcomes assessment and evaluation" 42 (42): 23-29, 2002

25 "Generalizability theory" Springer Verlag 2001

26 "Generalizability and validity of a mathematics performance assessment" 33 (33): 71-92, 1996

27 "Faculty thoughts and concerns about students ratings" 87 : 3-15, 2001

28 "Evaluating e-Learning" ASTD Press 2001

29 "Elements of Generalizability Theory" 19831992

30 "Educational Administration Theory Research and Practice" Mcgraw Hill 2005

31 "E-Learning quality The concord Model for learning from a distance" 85 (85): 36-46, 2001

32 "Developing a quality assurance system for computer-based learning materials problems and issues" 26 (26): 417-426, 2001

33 "Classical generalizability and multifaceted Rasch detection of interrater variability in large sparse data sets" 68 (68): 167-190, 2000

34 "Appraising teaching and effectiveness Beyond student ratings IDEA paper" Kansas State University 36 : 1-8, 1999

35 "A method for analyzing performance assessments" Theory into Practice 261-277, 1997

36 Confrey, J, "A framework for quality in educational technology program" 42 (42): 7-20, 2002