Estimating Domain Scores for Mixed-Format Tests under Item response theory and Generalizability theory Approaches|RISS 상세보기

국문 초록 (Abstract)

이 연구에서는 영역점수를 추정하기 위해 문항반응이론과 일반화 가능도이론을 활용한 추정 방법을 적용해 보았다. 그리고 관찰 점수와 두 이론을 적용하여 산출한 점수를 비교해 보고, 가장 정확한 결과를 도출하는 방법이 무엇인지 알아보았다. 선행 연구와 다른 점은 이 연구에서는 혼합형 검사를 사용했다는 것과 개인 수준과 집단 수준에서의 추정치를 모두 포함하였다는 것이다. 이 연구를 위해 크게 두 가지 조건을 사용하였다. 본 연구에서 사용한 조건은 문항 수와 집단 안에 포함된 피험자 수이다. 문항 수를 13, 26, 51 문항으로 하여 각각 세 가지 검사형을 구성하였고, 집단 내 피험자 수는 25, 50, 100명으로 세 개의 다른 집단을 가정하였다. 연구 결과, 일반화 가능도이론과 문항반응이론을 적용한 방법이 관찰점수 방법보다 더 정확한 결과를 산출한다는 사실을 확인할 수 있었다. 개인 수준에서는 최대우도추정치 방법이 모든 조건에서 가장 작은 평균제곱오차를 보였다. 문항 수가 증가함에 따라 평균제곱오차는 줄어들었으나, 13 문항에서 26 문항으로 증가할 때에는 평균제곱오차의 감소폭이 크지 않았다. 집단 수준에서의 결과에서도 역시 관찰점수 방법보다는 일반화 가능도이론과 문항반응이론을 적용한 방법이 더 나은 결과를 보였다. 문항 수가 13일 때에는 최대우도추정치 방법이 가장 작은 평균 제곱오차를 보였고, 26 문항으로 이루어진 검사형에서는 집단 내 피험자수에 상관없이 문항반응이론방법이 일반화 가능도이론 방법보다 더 나은 결과를 보였다. 문항 수가 51문항으로 증가함에 따라 관찰점수를 제외한 각 방법의 추정치가 비슷한 결과를 보였다. 이 연구에서는 비록 감소되는 폭이 각 조건에 따라 다르긴 하지만, 집단 내 피험자 수와 문항수가 커짐에 따라 평균제곱오차는 점차 줄어든다는 사실을 확인할 수 있었다.

번역하기

이 연구에서는 영역점수를 추정하기 위해 문항반응이론과 일반화 가능도이론을 활용한 추정 방법을 적용해 보았다. 그리고 관찰 점수와 두 이론을 적용하여 산출한 점수를 비교해 보고, 가...

다국어 초록 (Multilingual Abstract)

This study was conducted to investigate the relative appropriateness of several estimation methods for domain scores under item response theory (IRT) and generalizability theory (G-theory) approaches. Both individual and group level domain score estimates were examined with mixed-format data. Several simulation conditions were formulated by considering and combining the number of items within a separate domain (13, 26, and 51) and the number of examinees within a specified group (25, 50, and 100). Based on the results, both G-theory and IRT-based approaches produced better estimates for domain scores than did using observed scores for all conditions. At the individual level, IRT-MLE method showed the smallest mean square error (MSE). As the number of items increased, MSE decreased as expected. When the number of items increased from 13 to 26, the decrease in MSEs did not seem to be large. At the group level, the GT-Searle method produced the largest MSEs. As the number of items within a domain and examinees within a group increased, MSEs decreased to some extent.

번역하기

목차 (Table of Contents)

Ⅰ. Introduction
Ⅱ. Theoretical Background
Ⅲ. Method
Ⅳ. Results
Ⅴ. ConclUsions

Ⅰ. Introduction
Ⅱ. Theoretical Background
Ⅲ. Method
Ⅳ. Results
Ⅴ. ConclUsions
References
저자소개
〈요약〉

참고문헌 (Reference)

1 Han, K. T, "WinGen3: Windows software that generates IRT parameters and item responses [computer program]" University of Massachusetts, Center for Educational Assessment 2010

2 Pommerich, M, "Validation of group domain score estimates using a test of domain" 36 : 199-216, 2006

3 Cronbach, L. J, "The dependability of behavioral measurements: Theory of generalizability of scores and profiles" John Wiley 1972

4 Yao, L, "Reporting valid and reliable overall scores and domain scores" 47 : 339-360, 2010

5 Searle, S. R, "Prediction, mixed models, and variance components. In Reliability and biometry" SIAM 1974

6 Muraki, E, "PARSCALE 4.1 [Computer program]" Scientific Software International, Inc 2003

7 Tate, R. L, "Implications of multidimensionality for total score and subscore performance" 17 (17): 89-112, 2004

8 Bock, R. D, "IRT estimation of domain scores" 34 : 197-211, 1997

9 Brennan, R. L, "Generalizability theory" Springer 2001

10 Shavelson, R. J, "Generalizability Theory: A Primer" Sage Publications 1991