불확실 Q행렬 요소의 비율 및 사례수가 베이지안 RDINA모형을 이용한 Q행렬 요소 추정의 정확도에 미치는 효과 = Effects of Proportions of Uncertain Q-Matrix Elements and Sample Sizes on Accuracies of Estimated Q-Matrix Elements via a Bayesian Reparametrized DINA model

국문 초록 (Abstract)

본 연구의 목적은 불확실 Q행렬 요소의 비율 및 사례수가 베이지안 RDINA (reparameterized DINA)모형을 이용한 Q행렬 요소 추정의 정확도에 미치는 효과를 탐구하는데 있다. 모의실험을 위해 선행 연구에서 널리 활용된 K. K. Tatsuoka의 분수뺄셈검사의 Q행렬을 참 값으로 간주하고, 이 Q행렬에서 불확실 Q행렬 요소의 비율을 5%에서부터 100%까지 순차적으로 늘렸다. 모의 생성된 사례수는 300, 500, 1000, 2000명이었다. 베이지안 방법으로 Q행렬을 추정한 후, 참으로 간주된 Q행렬 요소와 추정된 Q행렬 요소간 일치도를 구했다. 또한 베이지안 추정법이 보다 상대적으로 복잡한 Q행렬 추정에 적용 가능한지를 탐색하기 위해 기초학력 향상도 평가에서 교과전문가가 개발한 Q행렬과 불확실 Q행렬 요소 비율을 달리해서 추정한 Q행렬 요소간 일치도도 구했다. 연구결과 불확실 Q행렬 요소 비율 및 사례수는 베이지안 방법에 의한 불확실 Q행렬 추정의 정확도에 영향을 미치지 않았다. 또한 추정의 정확도 자체는 높지 않았다.

다국어 초록 (Multilingual Abstract)

The purpose of this study is to investigate the effects of proportions of uncertain Q-matrix elements and sample sizes on accuracies of estimated Q-matrix elements via a Bayesian reparameterized DINA (RDINA) model. This study treated the Q-matrix of the fraction-subtraction data of K. K. Tatsuoka as true one. The proportions of uncertain Q-matrix elements were varied from 5% to 100% by specifying some proportions of the Q-matrix elements as being random, and the item reponses were generated with the sample sizes of 300, 500, 1000, 2000. Also, as an application of the Bayesian approach to a more complex Q-matrix, the real Q-matrices of Daejeon Test of Basic Skills developed by subject experts were used as true. Under all conditions studied, Q-matrices were estimated with the Bayesian approach and compared them with the true Q-matrices for the simulations and real applications. The results show that the proportions of uncertain Q-matrix elements and sample sizes do not affect the accuracies of estimated Q-matrix elements via a RDINA model. Also, the accuracies of estimated Q-matrix elements were low.

목차 (Table of Contents)

• 국문초록
• Ⅰ. 서론
• Ⅱ. 이론적 배경
• Ⅲ. 연구방법
• Ⅳ. 연구결과
• Ⅴ. 결론 및 논의
• 참고문헌

참고문헌 (Reference)

1 박윤수, "인지진단모형의 다층 분석을 적용한 국가수준 학업성취도 평가 결과 분석: 지역 간 인지요소 숙달 차이를 중심으로" 한국교육평가학회 25 (25): 193-212, 2012

2 김희경, "인지진단모형을 적용한 학업성취 프로파일 분석 및 결과 보고 방안" 한국교육과정평가원 2012

3 김성은, "인지진단모형을 적용한 잠재집단별 분수뺄셈검사 문제해결 전략의 차이 분석" 한국교육평가학회 25 (25): 49-68, 2012

4 "http://www.r-project.org"

5 "http://www.python.org"

6 Haertel, E. H., "Using restricted latent class models to map the skill structure of achievement items" 26 : 301-323, 1989

7 Tatsuoka, K. K., "Toward an integration of item-response theory and cognitive error diagnosis, In Diagnostic monitoring of skill and knowledge acquisition" Erlbaum 453-488, 1990

8 Rupp, A. A., "The effects of Q-matrix misspecification on parameter estimates and classification accuracy in the DINA model" 68 (68): 78-96, 2008

9 DeCarlo, L. T., "Recognizing uncertainty in the Q-matrix via a Bayesian extension of the DINA model" 36 (36): 447-468, 2012

10 김수진, "Q-행렬 변화에 따른 혼합모형(Fusion Model) 모수 비교" 한국교육평가학회 23 (23): 487-507, 2010

11 Geyer, C. J., "Practical Markov chain Monte Carlo" 7 : 473-483, 1992

12 Spiegelhalter, D., "OpenBUGS user manual"

13 DeCarlo, L. T., "On the analysis of fraction subtraction data : The DINA model, classification, latent class sizes, and the Q-matrix" 35 (35): 8-26, 2011

14 Doornik, J. A., "Object-oriented matrix programming using Ox (Version 3.1) [Computer software]"

15 de la Torre, J., "Higher-order latent trait models for cognitive diagnosis" 69 (69): 333-353, 2004

16 김수진, "Fusion Model에 의한수학 능력 진단을 위한 Q-행렬의 정교화" 한국교육평가학회 21 (21): 115-139, 2008

17 de la Torre, J., "Factors affecting the item parameter estimation and classification accuracy of the DINA model" 47 (47): 227-249, 2010

18 Rupp, A. A., "Diagnostic measurement theory, methods, and applications" The Guilford Press 2010

19 Liu, J., "Data-driven learning of Q-matrix" 36 (36): 548-564, 2012

20 김성훈, "DINA 모형을 활용한 대규모 학업성취도 평가 결과 분석" 한국교육과정평가원 14 (14): 177-200, 2011

21 반재천, "DINA 모형에 의한 인지요소숙달 추정 방법간 비교 및 초등학생의 인지요소숙달 변화" 한국교육평가학회 25 (25): 721-744, 2012

22 de la Torre, J., "DINA model and parameter estimation : A didactic" 34 (34): 115-130, 2009

23 Junker, B. W., "Cognitive assessment models with few assumptions, and connections with nonparametric item response theory" 25 : 258-272, 2001

24 Brooks, S. P., "Alternative methods for monitoring convergence of iterative simulations" 7 : 434-455, 1998

25 Huebner, A., "A note on comparing examinee classification methods for cognitive diagnosis models" 71 (71): 407-419, 2011

26 de la Torre, J., "A empirically based method of Q-matrix validation for the DINA model : Development and applications" 45 : 343-362, 2008

27 Templin, J. L., "A Bayesian method for incorporating uncertainty into Q-matrix estimation in skills assessment" 2006

28 반재천, "2012학년도 기초학력 향상도 평가 온․오프라인용 문항 개발" 충남대학교 응용교육측정평가연구소, 대전광역시교육청 2012

29 반재천, "2011년 기초학력 향상도 평가의 분류일관성, 기초학력 도달 비율, 그리고 하위 단계 성취 정도와 학년말 기초학력 도달간 관계" 한국교육평가학회 26 (26): 35-61, 2013