등급 문항 반응 모형에서 개인 합치도를 추정하기 위한 lz의 분포와 효율성 = An Evaluation of lz as a Measure of Person Fit Under Graded Response Models

다국어 초록 (Multilingual Abstract)

A person-fit analysis (PFA) has been developed to identify individuals whose latent traits are not measured accurately by a test. This study investigated the distribution and effectiveness of a person-fit index: the standardized log-likelihood index (lz) for Graded Response Model(GRM). Findings in simulation studies employing various manipulated variables demonstrated that the empirical distribution of the lz were close to the standard normal distribution and the lz was effective in detecting individuals showing aberrant response patterns given the IRT model (i.e., graded response models). The application of the lz to the empirical data of the Rosenberg Self-Esteem scale (1965, 1979) illustrated that GRM was suitable to the scale, producing relatively few individuals of a significantly large value.

국문 초록 (Abstract)

개인 합치도 분석(person fit analysis)은 통계적 모형에서 예측되거나 혹은 표본 집단의 수검자들에게서 관찰된 문항 반응 형태와 다른 형태를 보이는 수검자들을 발견함으로써 개인적 수준에서 검사의 적합도를 평가하는 연구이다. 이분 문항을 위한 문항 반응 모형들에서 개인 합치도 지수 중 하나인 lz 지수의 분포와 효과성을 조사한 연구들은 존재하지만, 다분 문항을 위한 문항 반응 모형들에서의 개인 합치도 지수에 대한 분포와 효과성를 검증한 연구는 미비하다. 본 연구에서는 등급 문항 반응 모형에서 lz의 분포와 효율성을 조사하였다. 첫 번째 시뮬레이션 연구에서는 lz가 다양한 조건들 하에서 표준정규분포를 보이고 있음을 입증했으며, 두 번째 시뮬레이션 연구에서는 lz가 등급 반응 모형에서 다양한 수준의 비정상적인 반응을 보인 개인들을 탐지할 수 있음을 보여주었다. 마지막으로, lz를 실증 자료에 적용했을 때 등급 반응 모형이 Rosenberg의 자존감 척도에 적합한 것으로 나타났다. 즉, 대부분의 개인들은 등급 반응 모형과 일치하는 문항 반응 형태들을 보였지만, 유의미한 lz값을 가진 몇몇 참가자들은 기대했던 것과는 달리 비전형적인 문항 반응 형태를 보였다. 결론적으로, lz가 등급 반응 모형에서 비정상적인 문항 반응 형태를 보이는 개인들을 식별해 낼 수 있는 검증력을 가졌음을 실증연구를 통해서 재확인하였다.

참고문헌 (Reference)

1 Ge, X., "Trajectories of depressive symptoms and stressful life events among male and female adolescents in divorced and nondivorced families" 18 (18): 253-273, 2006

2 Meijer, R. R., "Trait level estimation for nonfitting response vectors" 21 (21): 321-336, 1997

3 Trabin, T. E., "The person response curve: Fit of individuals to item characteristic curve models" Computerized Adaptive Testing Laboratory, Department of Psychology, University of Minnessota 1979

4 Reise, S. P., "The influence of test characteristics in the detection of aberrant response patterns" 15 : 217-226, 1991

5 Nering, M. L., "The distribution of person fit using true and estimated person parameters" 21 (21): 121-129, 1995

6 Reise, S. P., "Scoring method and the detection of person misfit in a personality assessment context" 19 (19): 213-229, 1995

7 Conger, R. D., "Resilience in Midwestern families: Selected findings from the first decade of a prospective, longitudinal study" 64 (64): 361-373, 2002

8 Michell, J., "Quantitative science and the definition of measurement in psychology" 88 (88): 355-383, 1997

9 Harwell, M., "Monte Carlo studies in item response theory" 20 : 101-125, 1996

10 Meijer, R. R., "Methodology Review : Evaluating Person Fit" 25 (25): 107-135, 2001

11 Levine, M, V., "Measuring the appropriateness of multiple-choice test scores" 4 (4): 269-290, 1979

12 Embretson, S. E., "Item response theory for psychologists." Erlbaum 2000

13 Allen, M. J., "Introduction to Measurement Theory. Prospect Heights" Waveland 2002

14 Emons, W. H. M., "Global, Local, and Graphical Person-Fit Analysis Using Person-Response Functions" 10 (10): 101-119, 2005

15 Baker, F. B., "GENIRV : A computer program for generating item response"

16 Samejima, F., "Estimation of latent ability using a response pattern of graded scores" 34 (34): 1969

17 Van der Flier, H., "Environmental factors and deviant response patterns, In Basic problems in cross-cultural psychology" Swets & Seitlinger 1977

18 Van der Flier, H., "Deviant response patterns and comparability of test scores" 13 (13): 267-298, 1982

19 Meijer, R. R., "Detection of aberrant item score patterns : A review of recent developments" 8 (8): 261-272, 1995

20 Karabatsos, G., "Comparing the Aberrant Response Detection Performance of Thirty-Six Person-Fit Statistics" 16 (16): 277-298, 2003

21 Emons, W. H. M., "Comparing simulated and theoterical sampling distributions of the U3 person-fit statistic" 26 (26): 88-108, 2002

22 Sung, H. J., "Choosing a polytomous IRT model using Bayesian model selection methods" 2006

23 Ro, S., "Characteristics of a likelihood-based person-fit index under the graded response model" University of Minnesota, 2001

24 Reise, S. P., "Assessing the fit of measurement models at the individual level : A comparison of item response theory and covariance structure approaches" 4 : 3-21, 1999

25 Drasgow, F., "Appropriateness measurement with polychotomous item response model and standardized indices" 38 (38): 67-86, 1985

26 Schmitt, N., "Appropriateness fit and criterion-related validity" 17 : 143-150, 1993