인지진단모형 Q행렬 타당화 방법 간의 회복률 비교 = The comparison of retention rate on Q-matrix validation methods

국문 초록 (Abstract)

인지진단모형에서의 Q행렬 불확정성을 보완하기 위한 다양한 통계적 Q행렬 타당화 방법들이 제안되고 있다. 이들 중 자료에 알맞은 방법을 선택하기 위해 Q행렬 타당화 방법들의 특징을 파악할 필요가 있으며, 정확성을 비교할 수 있다면 여러 Q행렬 타당화 방법을 이해하고 활용하는데 의미 있는 정보가 될 것이다. 따라서 본 연구는 현재까지 제안된 Q행렬 타당화 방법들을 종합하여 소개하고 각각의 특성에 대하여 논하였다. 또, 가장널리 사용되고 있는 ‘경험적 δ방법’과 비교적 최근에 개발된 ‘RSS방법’은 다양한 조건 하에서 모의실험을 진행하였다. 실험결과 RSS방법은 수정한 요소들 대부분이 실제로 오지 정된 요소인 경우가 많았으나 오지정 요소 가운데 일부만을 수정하였고, δ방법은 오지정된 요소 대부분을 수정하였으나 수정이 불필요한 요소도 함께 수정하는 경우가 많았다.또한 두 방법 모두 여러 번 반복 추정 과정에서 특정 문항 및 요소를 집중적으로 수정하는 경향을 보였다.

다국어 초록 (Multilingual Abstract)

Several static Q-matrix validation methods are suggested in order to implement the uncertainty of Q-matrix. The characteristics of these Q-matrix validation methods are required to be understood for selecting adequate methodologies for data, which can be significant information to comprehend and utilize several Q-matrix validation methods to compare the accuracy of each method. Therefore, this study comprehensively introduced the Q-matrix validation methods which have been proposed up to date and discussed each feature of these methods. In addition, the simulation study was conducted under a variety of conditions regarding empirical δ method which have been most widely utilized and RSS method which was developed somewhat recently. The experimental results were as follows. In the case of RSS method, the majority of revised elements were actually misspecified elements, however, only part of misspicified elements were revised. In case of δ method, the majority of misspecified elements were revised, however, the elements which did not require revision tended to be revised altogether. Also, there was a tendency that certain questions or elements were concentrated to be revised in the process of several iterations in both methods.

목차 (Table of Contents)

• Ⅰ. 서 론
• Ⅱ. 이론적 배경
• Ⅲ. 연구 방법
• Ⅳ. 결 과
• Ⅴ. 결 론

참고문헌 (Reference)

1 김희경, "인지진단모형을 적용한 학업성취 프로파일 분석 및 결과 보고 방안" 한국교육과정평가원 2012

2 인보란, "인지진단모형에 의한 성별에 따른 수학 성취 특성 차이 분석" 이화여자대학교 대학원 2014

3 김성훈, "인지구조모형에 근거한 학생의 지식상태의 진단-규칙장이론(Rule-space theory)의 적용-" 한국교육학회 43 (43): 81-107, 2005

4 이영주, "인공신경망에 근거한 인지진단모형 Q 행렬의 타당성 평가" 이화여자대학교 대학원 2014

5 김성은, "다집단 인지진단모형의 적용 가능성 탐색: 청소년 정서·행동문제 검사에의 적용" 한국교육학회 53 (53): 139-159, 2015

6 김수진, "TIMSS 2011 결과에 따른 수학 과학 교육 현황 국제비교" 한국교육과정평가원 2013

7 Chiu, C. Y., "Statistical Refinement of the Q-matrix in Cognitive Diagnosis" 37 (37): 598-618, 2013

8 Tatsuoka, K. K., "Rule-space : An approach for dealing with misconceptions based on item response theory" 20 : 345-354, 1983

9 DeCarlo, L. T., "Recognizing Uncertainty in the Q-Matrix via a Bayesian Extension of the DINA Model" 36 (36): 447-468, 2012

10 김지효, "G-DINA 모형에서 인지요소숙달 분류 정확성에 영향을 미치는 요인에 관한 연구" 교육종합연구소 10 (10): 81-101, 2012

11 de la Torre, J., "Factors Affecting the Item Parameter Estimation and Classification Accuracy of the DINA Model" 47 (47): 227-249, 2010

12 Jaccard, P., "Distribution de la flore alpine dans le bassin des Dranses et dans quelques regions voisines" 37 : 241-272, 1901

13 Rupp, A. A., "Diagnostic Measurement: Theory, Methods, and Applications" The Guilford Press 2010

14 Gierl, M. J., "Defining Characteristics of Diagnostic Classification Models and the Problem of Retrofitting in Cognitive Diagnostic Assessment" 6 : 263-275, 2008

15 Li, H., "Constructing and Validating a Q-Matrix for Cognitive Diagnostic Analyses of a Reading Test" 18 (18): 1-25, 2013

16 DiBello, L. V., "Cognitively diagnostic assessment" Erlbaum 361-390, 1995

17 Henning, C., "Cluster-wise assessment of cluster stability. Unpublished research report" Department of Statistical Science, University of College London 2004

18 Ntzoufras, I., "Bayesian modeling using WinBUGS" Wiley 2009

19 Buck, G., "Application of the rule-space procedure to language testing : Examining attributes of a free response listening test" 15 (15): 119-157, 1998

20 de la Torre, J., "An empirically-based method of Q-Matrix validation for the DINA model : Development and applications" 45 : 343-363, 2008

21 Park, C., "A multilevel IRT model for group-level diagnostic assessment seth application to TIMSS" University of Wisconsin Madison 2008

22 Lee, Y. -S., "A cognitive Diagnostic Modeling of Attribute Mastery in Massachusetts, Minnesota, and the U. S. National Sample using the TIMSS 2007" 11 (11): 144-177, 2011