인지진단모형, 인지요소패턴 추정 방법, 사례수에 따른 인지요소패턴 추정의 분류 일관성 및 분류 정확성 비교 = A Comparison of Classification Consistencies and Classification Accuracies of Attribute Pattern Estimates by Cognitive Diagnostic Models, Classification Methods, and Sample Sizes

국문 초록 (Abstract)

본 연구의 목적은 인지진단모형인 DINA(deterministic inputs, noise “and” gate), DINO(deterministic
inputs, noise “or” gate), GDINA(generalized DINA)와 인지요소패턴 추정 방법인 MLE(maximum likelihood
estimation), MAP(maximum a posteriori), EAP(expected a posteriori), 그리고 사례수(100, 300, 500, 1000명)
에 따른 인지요소패턴의 분류 일관성 지수 및 분류 정확성 지수의 차이를 비교하는데 있다. 본 연구에서는 모의실험 자료와 실제 자료인 기초학력 향상도 평가를 이용하였다. 모의실험 자료를 이용한 연구결과 첫째, DINA와 GDINA모형간, DINO와 GDINA모형간 인지요소패턴 추정의 분류 일관성지수 차이 및 분류 정확성 지수 차이는 매우 작았다. 둘째, 각 인지진단모형내에서 MLE, MAP, EAP에 따른 분류 일관성 지수 차이 및 분류 정확성 지수 차이는 매우 작았다. 셋째, 사례수가 커짐에
따라 분류 일관성 지수가 달라지지만 일정하게 커지거나 작아지는 패턴은 없었다. 사례수의 증가와 함께 분류 정확성 지수는 증가했다. 그런데 실제 자료를 이용한 연구결과에서는 인지진단모형간 분류 일관성 지수 및 분류 정확성 지수 차이가 크게 나타나기도 했고, MLE의 분류 일관성 지수와 분류 정확성 지수는 MAP나 EAP의 분류 일관성 지수 및 분류 정확성 지수와 상당한 차이가 있었다.

다국어 초록 (Multilingual Abstract)

The purpose of this study is to compare classification consistency indices (CCs) and classification accuracy indices (CAs) in attribute pattern estimates by cognitive diagnostic models (CDMs), classification estimation methods, and sample sizes. In this study, three CDMs, DINA (deterministic inputs, noise “and” gate), DINO (deterministic inputs, noise “or” gate), GDINA (generalized DINA), three attribute pattern estimation methods, MLE (maximum likelihood estimation), MAP (maximum a posteriori), EAP (expected a posteriori), and four sample sizes (100, 300, 500, and 1000) were considered. Simulations were performed and the real data from the Daejeon Test of Basic Skills tests
administered in year 2013 were used for this study. The results show that the differences of the CCs and CAs among DINA, DINO, GDINA were negligible, and the differences among MLE, MAP, EAP were also very small. The CCs were changed as the sample sizes increased but there was no clear pattern. The CAs tended to increase as the sample sizes being large. However, the results with real data were not consistent with the ones with simulated data.

참고문헌 (Reference)

1 반재천, "기초학력 향상도 평가 온․오프라인용 문항 및 보충 학습․지도 자료 개발 연구" 충남대학교 응용교육측정평가연구소, 대전광역시교육청 2014

2 "http://www.r-project.org"

3 Haertel, E. H., "Using restricted latent class models to map the skill structure of achievement items" 26 : 301-323, 1989

4 de la Torre, J., "The generalized DINA model framework" 76 (76): 179-199, 2011

5 Chen, J., "Relative and absolute fit evaluation in congnitive diagnosis modeling" 50 (50): 123-140, 2013

6 김수진, "Q-행렬 변화에 따른 혼합모형(Fusion Model) 모수 비교" 한국교육평가학회 23 (23): 487-507, 2010

7 Templin, J., "Measurement of psychological disorders using cognitive diagnosis models" 11 : 287-305, 2006

8 de la Torre, J., "Higher-order latent trait models for cognitive diagnosis" 69 (69): 333-353, 2004

9 DiBello, L. V., "Handbook of Statistics, Vol. 26" Elsevier 979-1030, 2007

10 Maydeu-Olivares, A., "Goodness-of-fit assessment of item response theory models(with discussion)" 11 : 71-137, 2013

11 김수진, "Fusion Model에 의한수학 능력 진단을 위한 Q-행렬의 정교화" 한국교육평가학회 21 (21): 115-139, 2008

12 Lee, W., "Estimation consistency and accuracy indices for multiple classifications" 26 : 412-432, 2002

13 Livingston, S. A., "Estimating the consistency and accuracy of classifications based on test scores" 32 : 179-197, 1995

14 Cui, Y., "Estimating classification consistency and accuracy for cognitive diagnostic assessment" 49 (49): 19-38, 2012

15 Yen, W. M., "Effects of local item dependence on the fit and equating performance of the three-parameter logistic model" 8 : 125-145, 1984

16 Rupp, A. A., "Diagnostic measurement theory, methods, and applications" The Guilford Press 2010

17 심혜진, "DINA 모형을 통한 피험자 능력 추정의 정확성 연구: MCMC와 MMLE/EM 알고리듬의 비교를 중심으로" 한국교육방법학회 27 (27): 307-327, 2015

18 반재천, "DINA 모형에 의한 인지요소숙달 추정 방법간 비교 및 초등학생의 인지요소숙달 변화" 한국교육평가학회 25 (25): 721-744, 2012

19 Junker, B. W., "Cognitive assessment models with few assumptions, and connections with nonparametric item response theory" 25 : 258-272, 2001

20 Lee, W., "Classification consistency and accuracy for complex assessments using item response theory" 47 : 1-17, 2010

21 Robitzsch, A., "CDM: Cognitive diagnostic modeling (R Package version 4.991-1)"

22 Culpepper, S. A., "Bayesian estimation of the DINA model with Gibbs sampling" 2015

23 Huebner, A., "A note on comparing examinee classification methods for cognitive diagnosis models" 71 (71): 407-419, 2011

24 de la Torre, J., "A empirically based method of Q-matrix validation for the DINA model: Development and applications" 45 : 343-362, 2008

25 반재천, "2003~2008년 국가수준 학업성취도 평가의 조건적 측정오차와 분류일관성" 한국교육평가학회 23 (23): 323-345, 2010