표본 수와 사전정보의 정확도 수준이 베이지안 IRT 동등화에 미치는 영향 = Effects of sample size and precision level of prior distribution on the Bayesian IRT equating

국문 초록 (Abstract)

기존의 문항반응이론 방식으로는 모수 추정과 동등화가 불가능할 정도의 표본 크기에서도 동등화의 가교 역할을 할 문항들의 모수 추정치를 확보하고 있을 때, 베이지안 IRT 동등화가 효과를 발휘할 수 있는지를 알아보려는 목적으로 이 연구가 수행되었다. 36개의 채점 문항들에는 모든 응시자가 반응하고 8개의 가교 문항들은 두 구획으로 나뉘어 반반씩 응답하게 한 양분 문항들로 구성된 국가영어능력평가(1급) 읽기능력시험 4차 모의평가 검사 자료를 사용했다. 표본 크기를 700명 또는 200명으로 줄이는 대신, 사전 정보의 정확도 수준을 최하 10부터 최고 1,000까지 높이면서 고정상위모수(Fixed Hyper-Parameters)방식으로 WinBUGS를 통해 모수를 추정하고 동등화 했다. 그 결과, 표본 크기가 매우 작음에도 불구하고 가교 문항 모수치간 상관이 거의 1.0에 가까웠다. 특성곡선전환 방식의 동등화와 베이지안 방식의 동등화는 동등 점수뿐만 동등화 관계를 볼 때에도 서로 달랐으나, 베이지안 방식들 간에는 표본 크기가 작아져도 정확도 수준을 높이면 서로 큰 차이가 없었다. 평균자승편차제곱근이나 적률 보존 상태를 보더라도, 베이지안 IRT 동등화는 표본 크기가 작을 때에도 사전 정보의 정확도를 높임으로써 효과적으로 동등화가 이루어질 수 있음을 알 수 있었다. 사전 정보를 지정하는 다른 위계적 사전 정보 방식 들이 사용될 경우에 어떤 결과가 기대되는지 등의 후속 연구를 제언하기도 했다.

다국어 초록 (Multilingual Abstract)

This study was performed to verify effects of sample size and precision levels of prior distribution on the Bayesian IRT equating in small sample data, when the anchor item parameter estimates were properly prepared in advance. Reading Comprehension sub-test of the National English Ability Test(1st) composed of 36 scoring items and 8 anchor items was analysed for this study. The Bayesian IRT equating was performed by running the WinBUGS with the Fixed Hyper-Parameter Prior, changing precision levels according to the sample size. The correlation between anchor item parameters estimated from different data of different sample sizes and precision levels was almost of 1.0. The equivalent scores from traditional IRT equating and those of Bayesian equating was a little bit different, but among those of Bayesian equating were not different from each other. Similar results were found in the tables of RMSD(root mean squared difference) and moments preservation. The Bayesian IRT equating was performed well in small sample data, when the Fixed Hyper-Parameter Priors was used with properly changing the precision level. A further research of Bayesian IRT equating utilizing more sophisticated hierarchical prior method was suggested.

목차 (Table of Contents)

• 국문초록
• Ⅰ. 연구의 필요성 및 목적
• Ⅱ. 이론적 근거
• Ⅲ. 연구 방법
• Ⅳ. 연구 결과
• Ⅴ. 논의 및 결론
• 참고문헌
• ABSTRACT

참고문헌 (Reference)

1 남현우, "제4차년도 국가영어능력평가시험(1급) 동등화 연구" 국립국제교육원 2013

2 Bamber, D., "many parameters can a model have and still be testable?" 29 : 443-473, 1985

3 Spiegelhalter, D. J., "WinBUGS version 1.4 user manual" MRC Biostatistics Unit 2003

4 Hsieh, C. -A., "Using a multivariate multilevel polytomous item response theory model to study parallel processes of change : the dynamic association between adolescents' social isolation and engagement with delinquent peers in the National Youth Survey" 45 : 508-552, 2010

5 Kolen, M. J., "Test equating, scaling, and linking - methods and practice -" Springer 2004

6 van Rijn, P., "Test equating using prior information on population" 2009

7 Cowles, M. K., "Review of WinBUGS 1.4" 58 (58): 330-336, 2004

8 Hulin, C. L., "Recovery of two-and three-parameter logistic item characteristic curves : A Monte Carlo study" 6 (6): 249-260, 1982

9 de la Torre, Jimmy, "Parameter estimation with small sample size : a higher-order IRT model approach" 34 (34): 267-285, 2010

10 Kolen, M. J., "POLYEQUATE (Windows console version)" University of Iowa 2004

11 Hanson, B. A., "Obtaining a common scale for item response theory item parameters using separate versus concurrent estimation in the common-item equating design" 26 (26): 3-24, 2002

12 Lord, F. M., "Maximum likelihood and Bayesian parameter estimation in Item Response Theory" 23 (23): 157-162, 1986

13 de la Torre, J., "Item Response Theory equating using Bayesian informative priors" 2001

14 Kery, M., "Introduction to WinBUGS for ecologists: A Bayesian approach to regression, ANOVA, mixed models, and related analysis" Academic Press 2010

15 van Rijn, P., "Exposing trends in populations in the context of test equating" 2010

16 Kim, J., "Estimating Item Response Theory models using Markov Chain Monte Carlo methods. Educational Measurement: Issues and Practices, An NCME Instructional Module"

17 Zhang, H., "Bayesian power prior analysis and its application to operational risk and Rasch model" the University of Texas 2010

18 Gao, F., "Bayesian or non-Bayesian : A comparison study of item parameter estimation in the three-parameter logistic model" 18 (18): 351-380, 2005

19 Fox, J. -P., "Bayesian Item Response modeling: theory and application" Springer 2010

20 Patz, R. J., "A straightforward approach to Markov Chain Monte Carlo methods for Item Response Theory" 24 (24): 146-178, 1999

21 Sheng, Y., "A sensitivity analysis of Gibbs sampling for 3PNO IRT models: effects of prior specifications on parameter estimates" 37 (37): 87-110, 2010

22 Kim, S., "A comparative study of IRT fixed parameter calibration methods" 43 : 355-381, 2006

23 Wang, X., "A Bayesian methods for studying DIF : a cautionary tale filled with surprises and delights" 33 (33): 363-384, 2008