강한 베이지안 사전분포를 사용한 가교문항-고정 IRT 추정 방법의 원리와 기능 = The Principle and Performances of Fixed-Anchor IRT Calibration Methods Using Strong Bayesian Priors

국문 초록 (Abstract)

비동등집단-가교문항(nonequivalent-groups anchor-items test) 설계를 통해 얻어진 검사 자료를 문항반응이론(IRT)을 통해 분석할 때, 가교문항-고정 IRT 추정 방법은 기존의 능력척도 상에서 추정된 가교문항의 모수를 고정한 채 기저 능력분포를 추정함으로써 비가교문항의 모수들을 기존의 능력척도 상에서 추정하기 위해 사용된다. 가교문항-고정 IRT 추정을 성공적으로 수행하기 위해 선행 연구들은 가교문항의 모수를 추정에서 명시적으로 제외하는 특수한 주변최대우도-기대최대(MML-EM) 방법('고정문항-추정제외 MML-EM 방법')을 사용하였다. 본 연구는 가교문항-고정 IRT 추정을 위한 대안적 방법으로 고정할 가교문항의 모수에 대해 강한 베이지안 사전분포를 사용할 수 있는 일반적인 베이지안 최빈(BM)-EM 방법('강한-사전분포 BM-EM 방법')을 제시하고, 사전분포의 강도에 따라 이 대안적 방법이 어떻게 기능하는지를 검토하였다. 강한-사전분포 BM-EM 방법에서 각 가교문항의 모수는 해당 베이지안 사전분포의 최빈치(mode)를 그 모수 값으로 지정하고 표준편차(SD)를 0.000001~0.01의 작은 값으로 지정하여 "고정" 추정한다. 다양한 검사 조건을 포함한 모의실험의 결과, 강한-사전분포 BM-EM 추정 방법은 사전분포의 표준편차를 SD=0.01까지 약하게 지정하더라도 성공적으로 기능함을 확인하였다.

다국어 초록 (Multilingual Abstract)

When test data are obtained from the nonequivalent-groups anchor test design and are analyzed by using item response theory (IRT), fixed-anchor IRT calibration is used for estimating the parameters of the non-anchor items, while estimating the underlying ability distribution, on the same scale of the anchor items' parameters to be fixed. To successfully conduct fixed-anchor IRT calibration, previous research has used a specialized marginal maximum likelihood (MML)-EM algorithm method in which the anchor items' parameters are explicitly excluded from the estimation. The present study presented an alternative to the specialized MML-EM method for fixed-anchor IRT calibration, which is a generalized Bayesian modal (BM)-EM approach that allows one to impose very strong Bayesian priors for the anchor items' parameters to be fixed, and examined through computer simulations how the strong-priors based BM-EM method might perform depending on the degree of strength of the priors. With the strong-priors based BM-EM method, one can conduct fixed IRT calibration for an anchor item's parameter by setting the mode of the chosen prior to the value of the parameter and setting the standard deviation (SD) of the prior to very small values such as 0.000001~0.01. The results from simulations involving various testing conditions showed that the strong-priors based BM-EM method performed successfully even when the values of SD of priors were assigned up to 0.01.

목차 (Table of Contents)

• 요약
• Ⅰ. 서론
• Ⅱ. 가교문항-고정 IRT 추정 방법
• Ⅲ. 연구방법
• Ⅳ. 연구결과
• Ⅴ. 논의 및 결론
• 참고문헌

참고문헌 (Reference)

1 김성훈, "유한혼합분포에 대한 EM 알고리듬을 사용한 다집단 IRT 추정 방법의 원리와 기능" 한국교육평가학회 26 (26): 801-822, 2013

2 김성훈, "다수의 피험자 집단에 실시된 공통 본 검사 문항과 고유 외부가교 문항의 IRT 모수 추정 방법" 한국교육평가학회 24 (24): 423-443, 2011

3 김성훈, "구성형문항 검사의 IRT 동등화를 위한 선다형문항 외부가교검사의 활용가능성 연구" 한국교육평가학회 22 (22): 195-218, 2009

4 Kim, S., "Unidimensional IRT scale linking procedures for mixed-format tests and their robustness to multi dimensionality" The University of Iowa 2004

5 Keller, L. A., "The long-term sustainability of different item response theory scaling methods" 71 (71): 362-379, 2011

6 Keller, L. A., "The long-term sustainability of IRT scaling methods in mixed-format tests" 50 (50): 390-407, 2013

7 Kolen, M. J., "Test equating, scaling, and linking: Methods and practices" Springer 2014

8 Birnbaum, A., "Statistical theories of mental test scores" Addison-Wesley 397-479, 1968

9 Muraki, E., "PARSCALE (version 4.1) [computer software]"

10 Kim, S., "Methods for obtaining a common scale under unidimensional IRT models: A technical review and further extension" Iowa Testing Programs 2005

11 Bock, R. D., "Marginal maximum likelihood estimation of item parameters : Application of an EM algorithm" 46 (46): 443-459, 1981

12 Kim, S., "July). IRT fixed parameter calibration and other approaches to maintaining item parameters on a common ability scale" 2008

13 Paek, I., "Investigation of student growth recovery in a fixed-item linking procedure with a fixed-person prior distribution for mixed-format test data" 18 (18): 199-215, 2005

14 Kim, S., "Handbook of polytomous item response theory models" Routledge 257-291, 2010

15 Woodruff, D. J., "Estimation of item response models using the EM algorithm for finite mixtures" ACT, Inc 1996

16 Mislevy, R. J., "Bayes modal estimation in item response models" 51 (51): 177-195, 1986

17 김성훈, "BILOG-MG의 고정모수 추정 기능에 대한진단과 그 활용" 한국교육평가학회 19 (19): 323-345, 2006

18 Mislevy, R. J., "BILOG 3: Item analysis and test scoring with binary logistic models" Scientific Software 1990

19 Lord, F. M., "Applications of item response theory to practical testing problems" Erlbaum 1980

20 Kim, S., "A comparative study of IRT fixed parameter calibration methods" 43 (43): 355-381, 2006