Population Invariance of Equating by Repeater Status

국문 초록 (Abstract)

이 연구에서는 미국의과대학입학시험 자료를 이용하여 초검자와 재검자 사이에 동등화의 집단불변성 원칙이 지켜지는지를 검증하였다. 동등화 방법으로는 3모수 문항반응이론에 근거한 진점수 동등화와 동백분위 동등화 방법이 이용되었고, 무선집단 자료 설계가 적용되었다. 동등화 차이를 수치로 나타내기 위하여 RMSD(Root Mean Squared Difference)와 SEED(Standard Error of Equating Difference)를 계산하였는데, 두 가지 지수에 의하면 미국대학입학시험 자료에서 초검자와 재검자 사이에 동등화 결과가 다르다는 결론이 얻어졌다. 본 연구의 주요한 기여는 집단불변성 원칙을 검증하기 위하여 동등화 오차를 고려한 SEED지수를 계산하는 방법을 제시하고, 기존에 자주 쓰이던 RMSD지수와 비교하여 SEED지수의 활용성을 입증한 것이다. RMSD지수는 표본 크기에 영향을 많이 받는 제한점 때문에, 경우에 따라 SEED지수와는 다른 결과를 보이는 것을 확인하였다. 따라서 이 연구에서는 집단불변성 검증을 위해 RMSD 한 가지 지수만을 계산하는 것보다는 동등화의 무선적 오차를 고려할 수 있는 SEED지수를 계산하여 두 가지 지수를 모두 확인한 후 종합적인 결론을 내리는 방안을 제안하였다.

다국어 초록 (Multilingual Abstract)

This study investigated population invariance of equating for nonrepeaters and repeaters using Medical College Admission Test (MCAT) data. Three‐parameter logistic (3-PL) item response theory (IRT) true score and traditional equipercentile equating methods were used under the random groups equating design. Equating was found to be dependent on repeater status. This study introduced an approach for applying standard errors of equating (SEE) to assess population invariance. The results from this approach were compared to results from a previously suggested approach that does not incorporate SEE. The results from these approaches led to somewhat different conclusions about population invariance for repeaters and nonrepeaters. This study illustrates the importance of incorporation of SEE in assessing population invariance of equating.

목차 (Table of Contents)

• Ⅰ. Introduction
• Ⅱ. Characteristic of Repeaters
• Ⅲ. Method
• Ⅳ. Result
• V. Summary
• VI. Discussion and Conclusion