다변량 일반화가능도 이론을 적용한 성취수준 설정에서의 오차분석과 최적 조건 탐색 = Investigation on optimal conditions and error variance in standard setting using multivariate generalizability analysis

국문 초록 (Abstract)

준거참조평가 체제에서 평가 결과의 보고와 평가 주기에 따른 추이 파악에 성취수준의 분할점수는 매우 중요한 역할을 하므로, 분할점수에 대한 측정학적인 검토는 필수적이다. 이 연구에서는 국가수준 학업성취도 평가의 성취수준 설정 과정에서 발생하는 오차요인을 분석하고, 효율적인 측정 조건을 탐색하였다. 다변량 일반화가능도 이론을 적용하여 다수의 성취수준을 구분하기 위한 분할점수를 설정하는 과정에서의 오차요인과 크기를 분석하였으며, 각 성취수준의 분할점수별로 적정 수준의 효율적인 측정조건을 제시하였다. 연구결과 학교급(초, 중, 고), 교과(국어, 수학, 영어), 성취수준별(우수학력, 보통학력, 기초학력)로 오차요인의 상대적 영향력과 오차를 줄이는 측정조건이 다르게 나타났는데, 특히, 국어에서 다른 교과보다 많은 수의 평정자 및 라운드가 필요한 것으로 분석되었으며, 수학과 영어에서는 상대적으로 일반화가능도 계수가 높게 산출되었다. 또한, 국가수준 학업성취도 평가에서의 성취수준 설정과정의 일치도는 0.8 이상으로 매우 높았다.

다국어 초록 (Multilingual Abstract)

Cut scores is very important to report achievement level and to analyze trends for criterion-referenced assessment. Thus it should be performed to examine valididy and reliability of cut scores. This study investigated sources of error and measurement conditions for standard setting to obtain high generalizability coefficient using multivariate generalizability theory. The results shows that the effect size of error of judgement differ depending on subjects and levels across graders. In Korean language, there is needed relatively more number of raters and rounds than other subjects for getting high reliability coefficients. In Mathematics and English, judgment of item correct-probability yielded the relatively high reliability coefficients under condition of few raters and rounds. The measurement conditions of NAEA standard setting had high generalizability coefficients which yielded more than 0.8, and was highly consistent.

목차 (Table of Contents)

• Ⅰ. 서론
• Ⅱ. 이론적 배경
• Ⅲ. 연구방법
• Ⅳ. 분석결과
• Ⅴ. 결론 및 제언
• 참고문헌
• 저자소개
• 〈ABSTRACT〉

참고문헌 (Reference)

1 이현숙, "혼합형 검사의 문항 유형별 가중치에 따른 신뢰도 및 다변량 일반화가능도 분석" 한국교육평가학회 25 (25): 95-116, 2012

2 김경희, "채점척도에 따른 채점자의 일관성과" 14 (14): 327-347, 2001

3 김성숙, "일반화가능도 이론" 교육과학사 2001

4 지은림, "논술고사의 신뢰성에 영향을 미치는 채점자 특성 분석" 한국교육평가학회 21 (21): 97-113, 2008

5 김성숙, "e-learning 강의평가 도구의 일반화가능도와 평가활용의 최적화 조건" 한국교육평가학회 19 (19): 305-322, 2006

6 Brennan,R.L, "Using generalizability theory to address reliability issues for PARCC Assessments: A white paper" Center for Advanced Studies in Measurement and Assessment, The University of Iowa 2011

7 Zieky,M.J, "So much has changed: How the setting of cutscores has evolved since the 1980s, In Setting Performance Standards: Concepts, Methods, and Perspectives" Lwarence Erlbaum Associates, Publishers 2001

8 Lunz, M. E, "Scoring and analysis of performance examinations: a comparison of methods and interpretations" 1 (1): 219-238, 1997

9 Angoff,W.B, "Norms, Scales, and equivalent scores, In Educational Measurement" American Council on Education 1971

10 Nuβbaum,A, "Multivariate generalizability theory in Educational Measurement: An empirical study" 8 (8): 219-230, 1984

11 Powers, S, "Multivariate generalizability analyses of Mixed-format advanced placement exam" Center for Advanced Studies in Measurement and Assessment, The University of Iowa. 2009

12 Brennan,R.L, "Generalizability theory" Springer-Verlag 2001

13 Lane, S, "Generalizability and validity of a mathematics performance assessment" 33 (33): 71-92, 1996

14 MacMillan,P.D, "Classical, generalizability, and multifaceted Rasch detection of interrater variability in large, sparse data sets" 68 (68): 167-190, 2000

15 Yin,P, "A multivariate generalizability analysis of the multistate bar examination" 65 (65): 668-686, 2005

16 Marcoulides,G.A, "A method for analyzing performance assessments" Abex 261-277, 1997

17 Brennan,R.L, "A computer program for computing variance-covariance component" University of Iowa 2001

18 Norcini, J. J, "A comparison of three variations on a standard-setting method" 24 : 56-64, 1987

19 박인용, "A comparison of the approaches of generalizability theory and item response theory in estimating the reliability of test scores for testlet-composed tests" 교육연구소 13 (13): 47-54, 2012

20 Brennan, R. L, "A comparison of Nedelsky and Angoff cutting score procedures using generalizability theory" 4 (4): 219-249, 1980

21 Kim, S, "A Comparative Analysis of the Ratings in Performance Assessment Using Generalizability Theory and Many-Facet Rasch Model" 10 (10): 408-423, 2009