학생들의 동료평가를 활용한 수행평가 결과의 일반화가능도 분석 = A Generalizability Theory Approach to Investigating the Generalizability of Performance Assessment Using Student Peer Reviews

국문 초록 (Abstract)

  수행평가는 피험자의 반응을 평가하기 위한 채점자의 개입을 필요로 하는 평가형태로 채점자는 평가 결과에 영향을 주는 주된 요인이 된다. 일반적으로 채점자의 개입으로 인해 수행평가 결과의 신뢰도는 낮아지게 되고, 낮은 신뢰도는 수행평가 결과의 활용을 제한하는 요인으로 작용하게 된다. 특히 수행평가 결과를 선발과 같은 고부담(high-stakes) 의사결정에 활용할 경우, 수행평가 결과의 신뢰도 검증은 보다 중요한 이슈가 된다. 이 연구는 현재 학교 현장에서 보편적인 수행평가 채점 방식인 교과 담당 교사의 전담 채점 방식의 낮은 신뢰도 문제를 보완하기 위해 학생들의 동료평가를 활용하는 채점 방식을 연구하였다. 이러한 연구목적을 위해 일반화가능도 이론이 적용되어 학교 현장에서 수행평가에 영향을 주는 요소들의 상대적인 영향력이 분석되었고, 적정 수준의 일반화가능도 계수를 확보하기 위한 효율적인 측정구조가 검토되었다. 학생 동료평가 방식의 타당성을 검토하기 위해 학생들의 동료평가 결과와 교사의 평가 결과 사이의 상관이 분석되었고, 일정 수준의 상관관계가 도출 되어 학생 동료평가 결과의 타당성이 부분적으로 확인되었다. 학생들의 동료평가 결과를 활용한 채점 방식이 학교 현장에서 교사 전담 채점에 의한 수행평가 결과의 낮은 신뢰도 문제에 대한 하나의 대안으로 검토될 수 있을 것이다.

다국어 초록 (Multilingual Abstract)

  Raters ate involved in the process of evaluating students" responses in performance assessments and thus play important roles influencing students" performance scores. The involvement of raters in performance assessment results in low reliability in general that makes, in turn, some limitations for the use of performance assessment results. In case of using performance assessment measures for decision making with high-stakes, the reliability check should be a critical issue. This study was designed to address issues related to investigating the generalizability of students" performance scores using student peer reviews as well as teacher ratings. A generalizabilty theory approach was adopted in this study and relative influences of several factors affecting students" performance scores were analyzed. Several measurement procedures were conceptualized and investigated to accomplish appropriate levels of generalizability. The validity of using student peer reviews was checked by examining correlation coefficients between student peer reviews and teacher ratings. Accoring to the results of this study, the student peer reviews could be considered as an alternative or a supplement to teacher ratings currently used in the classroom to increase the level of generalizability of students" performance scores.

목차 (Table of Contents)

• Ⅰ. 서론
  Ⅱ. 동료평가와 일반화가능도 접근
  Ⅲ. 연구방법
  Ⅳ. 연구결과
  Ⅴ. 논의
  참고문헌
  저자소개
  ABSTRACT
  

참고문헌 (Reference)

1 "현대교육평가" 학지사 2002

2 "초등학교 수행평가의 교육적 효과와 활용 방식" 18 (18): 173-191, 2005

3 "중등학교 수행평가의 평가 유형과 채점 방식 및 신뢰도 분석" 25 (25): 173-183, 2005

4 "일반화가능도이론" 연세대학교출판부 1988

5 "일반화가능도 이론" 교육과학사 2001

6 "의학교육의 대안적 평가 심층면접" 2002a

7 "수행평가의 신뢰도 타당도 패러독스" 계명대학교 교육연구소 19 (19): 69-84, 2002

8 "수행평가에 있어서 일반화가능도 이론의 활용" 9 (9): 73-93, 1996

9 "수행평가 이해와 적용" 문음사 2000

10 "수행평가 이론적 측면" 교육과학사 2002

11 "수행평가 기술적 측면" 교육과학사 2002

12 "사회과 보고서 수행평가를 위한 총체적 채점과 분석적 채점의 비교" 12 (12): 11-24, 1999

13 "단위검사 개념의 적용 일반화가능도 이론을 중심으로" 16 (16): 53-70, 2003

14 "다변량 일반화가능도 이론에 의한 말하기 시험의 타당도와 신뢰도에 관한 연구" 11 (11): 249-265, 2004

15 "논술문항 채점의 변동요인 분석과 일반화가능도 계수의 최적화 조건" 8 (8): 35-57, 1995

16 "교육평가 용어사전" 학지사 2004

17 "on the stability of perfromance assessment Journal of Educational Measurement" 41-53, 1993

18 "The influence of several factors on reliability for complex reading comprehension tests" 39 : 149-164, 2002

19 "The dependability of behavioral measurements Theory of generalizability for scores and profiles" 1972

20 "Sampling variability of performance assessments Journal of Educational Measurement" 215-232, 1993

21 "On the content validity of performance assessments: Centrality of domain specifications" Kluwer Academic Publishers 131-141, 1996

22 "Incorporating the testlet concept in test score analyses" 19 : 9-15, 2000

23 "Generalizability theory" Springer 2001

24 Gao, "Generalizability of large-scale performance assessments in science Applied Measurement in Education" 323-432, 1994

25 "Evaluating measurement precision of performance assessment with multiple forms raters and tasks" 1996

26 Lee, G, "Estimating reliability under a generalizability theory model for test scores composed of testlets" 12 : 237-255, 1999

27 "Estimating generalizability of matrix-sampled science performance assessment Paper presented at the Annual Meeting of the American Educational Research Association" 1994

28 "Elements of generalizability theory" American College Testing 1992

29 "Analytic versus holistic scoring of science performance tasks" 11 (11): 121-137, 1998

30 "A generalizability theory approach to investigating item context effects" 17 (17): 219-237, 2004

31 "A comparison of five scoring modalities in terms of reliability and efficiency" 15 (15): 227-245, 2002