가상강좌 강의평가 도구개발 및 타당화 = Development and Validation of a Cyber Course Evaluation Tool

국문 초록 (Abstract)

  본 연구는 가상강좌에 사용될 수 있는 강의 평가 도구를 개발하고 이를 타당화하는데 목적이 있다. 연구대상은 2005년 1학기에 개설된 K대학의 가상강좌를 수강하는 학부생들이며 예비검사를 위해 406명이 참여하였고, 본 검사에서는 2,020명이 참여하여 이 중 불성실한 응답을 제외한 1,678명의 자료를 최종 분석에 포함하였다. 가상강의 평가 도구의 개발을 위해 먼저 선행연구를 토대로 4개의 평가영역을 규명하고 영역별로 총 15개의 평가문항을 개발하였다. 개발된 평가문항을 이용하여 예비검사를 실시하였고, 문항 분석결과를 토대로 4개 영역에서 총 13개의 평가문항을 추출하였다. 확정된 최종 평가 문항으로 본 검사를 실시한 후 강의평가 도구의 타당화를 검증하였다. 분석 결과, 문항난이도와 변별도, 문항 제거시 신뢰도, 내적 일관성 신뢰도가 양호한 것으로 나타났으며, 일반화가능도 이론의 G-연구를 적용하여 평가 점수의 분산 비율을 추정해 본 결과, 교수자에 속한 학생들의 분산과 잔차 분산이 가장 큰 것으로 나타났다. 일반화가능도 이론의 D-연구를 수행한 결과, 개발된 강의 평가 도구의 문항 수는 적정한 것으로 나타났으며 가상강좌 당 학생 수가 50명이상 확보되어야 보다 신뢰로운 결과해석이 가능한 것으로 나타났다. 확인적 요인분석을 적용한 결과 본 연구에서 설정한 측정 모형이 적합한 것으로 판명되었다.

다국어 초록 (Multilingual Abstract)

  The purpose of this study was to develop and validate a cyber course evaluation tool. The subjects were undergraduate students who took cyber courses at K university in the first semester of 2005. A preliminary tool, which includes 4 categories and 15 items, was developed through reviews of literature. Then, 406 students participated in evaluation with the tool and finally 4 categories and 13 items were set based on item and factor analyses. The final version of the tool was administered to 2,020 students. For item analysis and validation, item difficulty, item discrimination, reliability with item deletion, internal consistency reliability (Cronbach"s α), exploratory factor analysis, confirmatory factor analysis, and generalizability theory approach were adopted and SPSS, AMOS, urGENOVA, and GENOVA programs were used for the analyses. Based upon the results of this study, the following conclusions can be made. First, item difficulty, item discrimination, reliability with item deletion, and internal consistency reliability seemed reasonable to support the good quality of items used in the tool. Second, the generalizability theory approach showed that the number of items (13 items) could be acceptable and the number of students per class (or per instructor) would be recommended to be more than 50 to obtain reliable result. Third, the confirmatory factor analysis showed that the measurement model conceptualized the tool developed in this study could be justified based upon several goodness of fit indices.

목차 (Table of Contents)

• 한국어 초록
  Ⅰ. 서론
  Ⅱ. 가상강좌 강의평가 도구개발
  Ⅲ. 연구방법
  Ⅳ. 연구결과
  Ⅴ. 결론 및 논의
  참고문헌
  저자소개
  ABSTRACT
  

참고문헌 (Reference)

1 "효율성의 관점에서 본 가상대학에 대한 비판적 검토" 15 (15): 113-132, 1999

2 "학생에 의한 교수강의평가척도 개발과 시행방안" 14 : 23-45, 1999

3 "학생에 의한 강의평가의 관련요인 분석 교수 학생 수업관련요인을 중심으로" 19 (19): 247-266, 2001

4 "웹 기반 교육에서의 평가" 교육과학사 1999

5 "웹 기반 가상수업의 학습자 만족도 분석에 관한 연구 ’98 2학기 방송대 가상수업을 중심으로" 5 (5): 151-175, 1999

6 "웹 기반 가상수업 평가 연구" 한국방송통신대학교 방송통신교육연구소 98 (98): 1999

7 "사이버강의 운영실태 및 강의평가 열린사이버대학과 제주대 자체사이버강의를 중심으로" 18 : 213-236, 2003

8 "미국 대학 교수업적평가제도의 현황과 시사점" 大學敎育 49-55, 1994

9 "대학강의평가를 위한 문항 개발" 이화여자대학교 대학원 1995

10 "단위검사 개념의 적용 일반화가능도 이론을 중심으로" 16 (16): 53-70, 2003

11 "교수설계 이론에 근거한 대학 강의평가 도구개발을 위한 기초연구" 17 (17): 81-108, 2001

12 "교수강의 평가제도의 문제점과 개선방안" 13 (13): 91-133, 1993

13 "강의평가와 관련한 의사결정요인에 관한 연구" 27 : 235-252, 2002

14 "The evaluation of university courses" 9 (9): 1-15, 1984

15 "The dimensions of students' perceptions of teaching effectiveness" 59 (59): 580-596, 1999

16 "The Dependability of Behavioral Measurements Theory of Generalizability for Scores and Profiles" 1972

17 "Students' evaluation of university teaching and directions for future research International Journal of Educational Research" 253-388, 1987

18 "Student evaluation of college teaching effectiveness A brief review" 23 (23): 191-211, 1998

19 "Generalizability theory" Springer Verlag 2001

20 "Evaluating and assessing for learning" 1990

21 "Elements of generalizability theory" American College Testing 1992

22 "Effectiveness of student rating feedback for improving college instruction:A meta-analysis of findings" 13 : 321-341, 1980

23 "Developing a student evaluation instrument for distance teaching" 19 (19): 23-42, 1998

24 "Changes in evaluating teaching in higher education" 30 (30): 30-36, 1991

25 "Center for faculty evaluation and development" Kansas State University 1-6, 1989

26 "Blended Learning을 활용한 커뮤니티기반 교수학습모형" 한국교육공학회 141-168, 2004

27 "A department system for balancing the development and evaluation of college teaching A commentary on Cavanagh" 20 (20): 241-247, 1996

28 "A General Model for Evaluating Distance Education Programs" 81-85, 1997