유한혼합분포에 대한 EM 알고리듬을 사용한 다집단 IRT 추정 방법의 원리와 기능 = Multiple Group IRT Estimation Using the EM Algorithm for Finite Mixture Distributions

국문 초록 (Abstract)

검사 문항에 대한 반응 자료가 다집단(multiple examinee groups)으로부터 얻어질 경우 문항반응이론(IRT) 문항모수의 추정은 각 피험자 집단의 능력분포의 추정과 동시에 이루어질 필요가 있다. 이를 위해 Bock과 Zimowski(1997)는 잠재능력변수를 연속변수로 가정하여 추정 공식을 도출하였다. 본 연구는 이 추정 방법의 대안으로서 '유한혼합분포에 대한 EM 알고리듬을 사용한 단일집단 IRT 추정 방법(Woodruff & Hanson, 1996)'을 다집단 검사자료로 확장한 방법의 원리를 제시하고, 다집단 검사자료의 구조에 따라 그 추정 방법의 기능이 어떠한지를 검토하고자 하였다. 모의실험을 통해 동일검사-다집단-반응 구조의 검사자료와 공통문항-다집단-반응 구조의 검사자료에 대해 '유한혼합분포에 대한 EM 알고리듬을 사용한 다집단 IRT 추정 방법'의 기능을 다른 추정 방법의 기능과 비교하여 검토하였다. 연구 결과, 다른 추정 방법과 비교하여 볼 때, 확장된 다집단 IRT 추정 방법은 동일검사-다집단-반응 구조의 검사자료에서보다는 공통문항-다집단-반응 구조의 검사자료에서 IRT 문항모수를 더 정확하게 추정하였다. 특히, 각 EM 사이클의 M 단계 후에 피험자 집단의 능력분포를 재척도화(re-scaling) 하지 않을 때 다집단 IRT 문항모수의 추정은 더 정확하게 수행되는 경향을 보였다.

다국어 초록 (Multilingual Abstract)

When test data are obtained from multiple groups of examinees, the objective of item response theory (IRT) analysis is to estimate concurrently the item parameters and the underlying distribution of a common ability for each group. For this IRT analysis, Bock and Zimowski (1997) presented a multiple-group estimation procedure based on a continuous latent variable. This study presents, as an alternative, a multiple-group IRT estimation procedure using the EM (Expectation-Maximization) algorithm for finite mixture distributions that is based on discrete latent variable and is an extension of Woodruff and Hanson's (1996) work for single-group data to multiple-group data. Compared to other estimation methods, including 'single-group distribution-fixed' versus 'combined-group distribution- estimated' methods, the performances of the multiple-group IRT estimation method extended were examined through computer simulations under two data-collection designs, one design in which multiple groups all respond to the same test items (MGST) and the other design which is typically found in the common-item nonequivalent groups (CING) equating. The simulation results showed that compared to the other methods, the multiple-group IRT estimation method worked better for the estimation of item parameters under the CING design than under the MGST design. The results also showed that the scale of the underlying ability distribution estimated during the EM cycles should not be standardized to obtain better estimates of item parameters using the multiple-group IRT estimation.

목차 (Table of Contents)

• 국문초록
• Ⅰ. 서론
• Ⅱ. 유한혼합분포 EM 알고리듬을 사용한 다집단 IRT 추정
• Ⅲ. 연구방법
• Ⅳ. 연구결과
• Ⅴ. 논의
• 참고문헌

참고문헌 (Reference)

1 김성훈, "혼합형 검사에서 IRT 문항모수와 기저 능력분포의 동시 추정이 문항모수 추정의 정확도에 미치는 영향" 한국교육평가학회 26 (26): 647-668, 2013

2 김희경, "The Effect of IRT Scale TransformationProcedures on Equating" 한국교육평가학회 20 (20): 213-233, 2007

3 McLachlan, G. J., "The EM algorithm and extensions" John Wiley & Sons 1997

4 Kolen, M. J., "Test equating, scaling, and linking: Methods and practices" Springer 2004

5 Titterington, D. M., "Statistical analysis of finite mixture distributions" John Wiley & Sons 1985

6 Kim, S., "Robustness to format effects of IRT linking methods for mixed-format tests" 19 : 357-381, 2006

7 Hanson, B. A., "Obtaining a common scale for item response theory item parameters using separate versus concurrent estimation in the common-item equating design" 26 : 3-24, 2002

8 Bock, R. D., "Multiple group IRT, In Handbook of modern item response theory" Springer-Verlag 433-448, 1997

9 Dempster, A. P., "Maximum likelihood from incomplete data via the EM algorithm (with discussion)" 39 : 1-38, 1977

10 Bock, R. D., "Marginal maximum likelihood estimation of item parameters : Application of an EM algorithm" 46 : 443-459, 1981

11 DeMars, C., "Incomplete data and item parameter estimates under JMLE and MML estimation" 15 : 15-31, 2002

12 Hanson, B. A., "IRT Command Language (ICL) (Version 0.020301)"

13 Woodruff, D. J., "Estimation of item response models using the EM algorithm for finite mixtures" ACT, Inc 1996

14 Mislevy, R. J., "Estimating latent distributions" 49 : 359-381, 1984

15 Kim, S., "Effects on scale linking of different definitions of criterion functions for the IRT characteristic curve methods" 32 : 371-397, 2007

16 Lewis, C., "Discussion" University of Minnesota, Department of Psychology, Computerized Adaptive Testing Laboratory 203-209, 1985

17 Mislevy, R. J., "Bayes modal estimation in item response models" 51 : 177-195, 1986

18 김성훈, "BILOG-MG를 사용한 IRT 모형 모수의 추정에서 기저 능력분포의 경험적 추정이 문항모수 추정에 미치는 영향" 한국교육평가학회 25 (25): 317-336, 2012

19 Zimowski, M. F., "BILOG-MG: Multiple-group IRT analysis and test maintenance for binary items [Computer software]"

20 Mislevy, R. J., "BILOG 3: Item analysis and test scoring with binary logistic models" Scientific Software 1990

21 Lord, F. M., "Applications of item response theory to practical testing problems" Erlbaum 1980

22 Kim, S., "A comparative study of IRT fixed parameter calibration methods" 43 : 355-381, 2006