모의실험 연구를 통한 등급반응모형과 일반화부분점수모형 비교 = Two simulation studies for comparing the graded response model and the generalized partial credit model

국문 초록 (Abstract)

본 연구의 목적은 다분적으로 채점되는 문항을 가진 학업성취도 및 심리 검사 결과를 분석할 때 주로 사용되고 있는 등급반응모형과 일반화부분점수모형이 주어진 자료를 다루는 데에 있어서 실질적으로 어떤 차이를 가지고 있는지를 밝히는 데에 있다. 이를 위하여 우선 각 모형에 대한 이론적 소개를 제시하였고 이어서 두 개의 모의실험 연구를 통하여 두 모형 간의 적합도 및 문항반응이론 응용 연구 결과에 있어서의 차이점을 살펴보았다. 문항 수준에서의 자료-모형 적합도 비교를 위하여 S-X² 지수를 사용하였다. 또한 문항반응이론의 대표적 응용 영역인 차별적기능문항 추출에 있어서 가능도비 검정 방법을 적용하였을 때 두 모형이 보여주는 경험적 제1종 오류를 비교하였다. 연구 결과를 통하여 두 모형이 주어진 자료를 설명하고 분석함에 있어서 실질적인 차이가 존재함을 알수 있었다. 또한 두 모의실험을 통하여 GPCM이 GRM에 비하여 약간의 차이이기는 하나 상대적으로 우월한 모형인 것으로 나타났다. 하지만 이를 통하여 GPCM을 모든 다분문항 자료에 적용하는 것이 바람직하다고 말하기는 어려웠으며 주어진 자료에 대하여 보다 적절한 모형을 선택하기 위한 노력이 언제나 중요하다고 결론지을 수 있었다.

다국어 초록 (Multilingual Abstract)

This study highlights the practical differences between the graded response model and the generalized partial credit model in analyzing a given polytomous-item response dataset. Two independent simulation studies were conducted to investigate whether one of the two models should be preferred for fitting polytomously-scored item data and to examine whether they could provide any significant differences in the results of an IRT application study. The first simulation study used Orlando and Thissen's S-X² item fit index for comparing the performances of two models in fitting simulated data. And, the second simulation study dealt with the likelihood-ratio test for the purpose of comparing two models in terms of empirical type I error rates in detecting DIF items. The GPCM appeared a little better than the GRM in both item fiting and controlling the type I error rates at DIF detection. It would be difficult, however, to say that the GPCM could be used for any given likert-type data. Finally, the results suggest that the selection of an appropriate IRT model is always crucial to obtain the benefits of IRT applications.

목차 (Table of Contents)

• Ⅰ. 서 론
• Ⅱ. 이론적 배경
• Ⅲ. 연구 방법
• Ⅳ. 연구 결과
• Ⅴ. 논의 및 결론
• 참고문헌

참고문헌 (Reference)

1 설현수, "차별문항기능에 대한 IRT에 기초한 문항적합도 지수의 민감도 분석" 한국교육문제연구소 93-109, 2000

2 강태훈, "정의적 특성 검사 자료 분석을 위한 문항반응모형 탐색: 일반화등급전개모형과 일반화부분점수모형의 적용을 중심으로" 한국교육평가학회 23 (23): 149-170, 2010

3 구슬기, "일반화부분점수모형에 의한 대인관계능력 진단도구의 문항특성분석" 이화여자대학교 대학원 2011

4 송미영, "이분반응모형과 등급반응모형에 의한 문항특성과 피험자 능력 모수 추정의 정확성" 7 (7): 241-261, 1994

5 백순근, "부분점수모형에 근거한 적합도의 활용 가능성에 대한 탐색 -교사의 전문적 판단과의 상관분석을 중심으로-" 한국교육평가학회 17 (17): 103-120, 2004

6 金敬姬, "문항수, 문항난이도, 문항변별도 변화에 따른 신뢰도 계수와 검사정보함수의 변화" 梨花女子大學校 大學院 1993

7 성태제, "문항반응이론의 이해와 적용" 교육과학사 2009

8 성태제, "문항반응이론:이분문항반응 모형과 등급반응 모형" 6 (6): 212-222, 1997

9 김성훈, "등급반응모형을 위한 검사특성곡선 방법 및 적률 방법의 척도변환계수의 표준오차" 한국교육평가학회 21 (21): 227-247, 2008

10 성태제, "다분문항반응이론(등급반응모형)에 의한 학구적 실패내성 척도의 문항분석과 피험자 특성추정" 12 (12): 203-218, 1998

11 박정, "다분 문항반응이론 모형" 교육과학사 2001

12 한국교육평가학회, "교육평가 용어사전" 학지사 2004

13 박정, "검사의 길이, 반응범주의 개수, 피험자의수 및 피험자 능력분포에 따른 다분문항반응이론 모형의 문항모수 추정치의 정확도" 12 (12): 17-42, 1999

14 Kang, T, "performance of the generalized item fit index for polytomous IRT models" 45 : 391-406, 2008

15 DeMars,C.E, "Type I error rates for PARSCALE's fit index" 65 : 42-50, 2005

16 Stone, C. A, "The effect of errors in estimating ability on goodness-of-fit tests for IRT models" 60 : 974-991, 2000

17 Glas, C. A. W, "Testing the generalized partial credit model" 4 : 237-260, 1995

18 Akkermans,L.M.W, "Studies on statistical models for polytomously scored test items" University of Twente 1998

19 Lord,F.M, "Practical application of item characteristic curve theory" 14 : 177-138, 1997

20 Muraki, E, "PARSCALE: IRT item analysis and test scoring for rating-scale data" Scientific Software 1997

21 Smith,L.Larrisa, "On the usefulness of item bias analysis to personality psychology.Personality and Social Psychology" 28 : 754-763, 2002

22 Childs, R, A, "Obtaining comparable item parameter estimation in MULTILOG and PARSCALE for two polytomous IRT models" 23 : 371-379, 1999

23 Kang,T, "Model selection methods for unidimensional and multidimensional IRT models" University of Wisconsin-Madison. 2006

24 Kang, T, "Model Selection Indices for Polytomous Items" 33 : 499-518, 2009

25 Bock, R. D, "Marginalmaximum likelihood estimation of item parameters: application of an EM algorithm" 46 : 443-459, 1981

26 Baker, F. B, "Item response theory: Parameter estimation techniques (2nd ed.)" Marcel Dekker 2004

27 Yen, W. M, "Item response theory, In Educational Measurement" Greenwood Publishing Group 2006

28 Kang,T, "IRT model selection methods for dichotomous items" 31 : 331-358, 2007

29 Orlando, M, "Further investigation of the performance of : An item fit index for use with dichotomous item response theory models" 27 : 289-298, 2003

30 Hambleton, R. K, "Fundamentals of item response theory" SAGE 1991

31 Bock, R. D, "Fitting a response model for dichotomously scored tems" 35 : 179-197, 1970

32 Muraki,E, "Fitting a polytomous item response model to likert-type data.Applied Psychological" 14 : 59-71, 1990

33 Bock,R.D, "Estimating item parameters and latent ability when responses are scored in two or more nominal categories" 37 : 29-51, 1972

34 Kim, S.-H, "Detection of differential item functioning under the graded response model with the likelihood ratio test" 22 : 345-355, 1998

35 De Ayala, R. J, "Comparison of a nominal and a graded response model in computerized adaptive testing New Developments in polychotomous item scoring and modeling" 1988

36 Lord, F. M, "Comparison of IRT true-score and equipercentile observed-score “equatings.”" 8 : 453-461, 1984

37 Stone, C. A, "Assessing goodness of fit of item response theory models: a comparison of traditional and alternative procedures" 40 : 331-352, 2003

38 Patz, R. J, "Applications and extensions of MCMC in IRT: Multiple item types, missing data, and rated responses" 24 : 342-366, 1999

39 Andrich,D, "Application of a psychometric model to ordered categories which are scored with successive integers" 2 : 581-594, 1978

40 Cohen, A. S, "An investigation of the likelihood ratio test for detection of differential item functioning" 20 : 15-26, 1996

41 Thissen, D, "A taxonomy of item-response models" 51 : 567-577, 1986

42 Thissen, D, "A response model for multiple choice items" 49 : 501-519, 1984

43 Muraki,E, "A generalized partial credit model:application of an EM algorithm" 16 : 159-176, 1992

44 Andrich,D, "A general form of Rasch's extended logistic model for partial credit scoring" 1 : 363-378, 1988

45 McKinley, R. L, "A comparison of several goodness-of-fit statistics" 9 : 49-57, 1985

46 Glas, C. A. W, "A comparison of item-fit statistics for the three-parameter logistic model" 27 : 87-106, 2003

47 Bolt,D.M, "A Monte Carlo comparison of parametric and nonparametric polytomous DIF detection methods" 15 : 113-141, 2002