한국어능력시험Ⅱ의 규준참조적 준거설정 방법 비교 = Evaluation of Norm-referenced Standard Setting Methods for TOPIK Ⅱ

국문 초록 (Abstract)

이 연구는 준거참조검사에서 시험이 새롭게 개편되어 등급분할의 재설정이 필요한 경우 기존의 규준정보를 활용하여 준거를 설정하는 세 가지 방안을 제안하고, 그 결과의 타당성을 검증하고자 하였다. 이를 위해 최근 개편된 한국어능력시험을 대상으로 기존 시험의 규준정보를 활용하여 첫째, 기존 시험의 등급별 점수분포의 교차점수를 구한 후 연계화 과정을 통하여 새로운 시험에서의 점수를 분할점수로 설정하는 방안(교차점수 분할), 둘째, 동백분위 방법을 적용하여 기존 시험에서의 절대기준 점수(50, 70점)에 해당하는 분할점수를 산출하는 방안(고정점수 분할), 셋째, 기존 시험에서의 등급별 비율과 동일한 비율을 갖는 개편 체제에서의 점수를 분할점수로 설정하는 방안(고정비율 분할)을 적용하였다. 세 가지 방안을 통해 한국어능력시험Ⅱ의 분할점수를 산출한 결과, 교차점수와 고정비율 방법은 기존체제에서의 등급별 비율과 전반적으로 유사한 경향을 보였다. 또한, 기존 등급을 유지한 비율과 단일시행에서의 분류 일치도가 높게 나타나 기존체제와의 연속성, 분류결정의 안정성 측면에서 한국어능력시험Ⅱ 분할점수의 타당성을 확인할 수 있었다. 이 연구에서 논의된 규준참조적 준거설정 방법은 준거참조적 방법과 비교하여 절차적 간편성뿐만 아니라 평가 결과의 일관성을 유지한다는 측면에서 다양한 국가수준 평가에 적용 가능한 방안으로 활용될 수 있을 것이다.

다국어 초록 (Multilingual Abstract)

This study suggested three norm-referenced standard setting procedures for TOPIK Ⅱ, which was reformed in 2014. Also, this study evaluated the validity of new cutoff scores on TOPIK Ⅱ in terms of classification consistency. Three norm-referenced standard setting methods were 1) the crossing score procedure which found the new cutoff score corresponding a overlapping score point of two performance levels in the old test using a linking technique (equipercentile linking), 2) the fixed score procedure which was based on permanent cutoff scores of the old test scale using the linking technique, and 3) the fixed percentile procedure which maintained ratio of each performance level of the old test. The research results showed that the percentages of each performance level in TOPIK Ⅱ, generated from two norm-referenced methods(crossing score point and fixed percentile procedures), were similar to those of the old test, and a large portion of examinees, who took both TOPIK (intermediary and advanced) and TOPIK Ⅱ, maintained the same performance levels. Furthermore, classification consistency indices of TOPIK Ⅱ were sufficiently high. Based on these results, cutoff scores of TOPIK Ⅱ from norm-referenced standard setting procedures were valid and consistent in that new cutoff scores maintained continuity and stability of performance levels compared with the old tests. Therefore, norm-referenced standard setting methods could be practically appled to various large scale assessments, which might be reformed periodically but should provide somewhat consistent test results.

참고문헌 (Reference)

1 조항록, "한국어능력시험 체제 개편에 따른 평가틀 제작 및 표준문항 개발" 국립국제교육원 2013

2 양길석, "한국어능력시험 읽기 영역 난이도 분석－외국인과 국내 초등학생 간 비교를 중심으로－" 한국국어교육학회 (99) : 319-343, 2014

3 민경석, "한국어능력시험 개편 체제 점수 체계 적용 방안 연구" 국립국제교육원 2014

4 민경석, "한국과 미국 국가수준 학업성취도 평가의 성취수준 비교" 사범대학부속중등교육연구소 61 (61): 111-136, 2013

5 한국교육평가학회, "교육평가 용어사전" 학지사 2004

6 Kane, M. T., "Validating the performance standards associated with passing scores" 64 : 425-461, 1994

7 Kolen, M. J., "Test Equating, Scaling, and Linking: Methods and Practices" Springer-Verlag 2004

8 Fleiss, J. L., "Statistical Methods for Rate and Proportion" Wiley 1981

9 Cizek, G. J., "Standard setting guidelines" 15 (15): 13-21, 1996

10 Cizek, G. J., "Standard Setting" Sage 2007

11 Kane, M. T., "Setting Performance Standards: Concepts, Methods, and Perspectives" Lawrence Erlbaum Associates 53-88, 2001

12 Shepard, L. A., "Setting Performance Standards for Student Achievement" National Academy of Education 1993

13 Kane, M. T., "Justifying the passing scores for licensure and certification tests" 1997

14 Downing, S. M., "Handbook of Test Development" Lawrence Erlbaum 2006

15 Ebel, R. L., "Essentials of Educational Measurement" Prentice-Hall 1972

16 Feldt, L. S., "Educational Measurement" Prentice-Hall 105-146, 1989

17 Brennan, R. L., "Educational Measurement" Praeger 2006

18 Angoff, W. H., "Educational Measurement" American Council on Education 508-597, 1971

19 Jeager, R. M., "Educational Measurement" Prentice-Hall 1989

20 Kane, M. T., "Choosing between examinee-centered and test-centered standard-setting methods" 5 (5): 129-145, 1998

21 Nedelsky, L., "Absolute grading standards for objective tests" 14 : 3-19, 1954