Q-행렬 변화에 따른 혼합모형(Fusion Model) 모수 비교 = The Comparisons of Fusion Model Parameters by Changing Q-matrix

국문 초록 (Abstract)

혼합모형(Fusion Model), DINA, NIDA 등과 같은 인지진단모형에서는 검사를 구성하는 문항들과 피험자들이 그 문항을 정확하게 풀기 위해 요구되는 속성들 간의 관계를 Q-행렬로 나타내고 있다. 인지진단모형에 있어서 학습자들의 능력을 추정하기 위해서는 문항에 의해서 측정되는 속성을 구체화하고 이 속성들과 문항과의 연관성을 찾아내는 과정이 매우 중요하다. 따라서, 통계적으로 타당한 결과를 위해서는 지속적인 수정(정교화 과정)과정을 거쳐 Q-행렬의 정확도를 높여야 한다. 하지만, 오차를 최소화 한다고 해도, 정확한 Q-행렬을 제작하기는 매우 힘든 일이다. 따라서, Q-행렬이 잘못 정해졌을 때에 결과가 어떠한지를 살펴볼 필요가 있다. 본 연구에서는 인지진단모형의 이해에 있어서 가장 기본이자 핵심이 되는 Q-행렬의 개발과정에 있어서 Q-행렬이 잘못 명세화 되었을 때의 영향을 살펴보기 위하여 Q-행렬을 여러 조건으로 잘못 명세화 한 후에 혼합모형으로 분석하였다. 즉 속성과 문항 간의 연결이 부정확할 경우에 문항 모수와 피험자 모수의 변화를 살펴보고, 문항 모수들과 피험자 모수들에 어떠한 영향을 미치는지 알아보고자 한다.

다국어 초록 (Multilingual Abstract)

Conventional assessments only provide a single summary score that indicates the overall performance level or achievement level of a student in a single learning area. For assessments to be more effective, test should provide useful diagnostic information in addition to single overall scores. Cognitive Diagnostic modeling provides useful information by estimating individual knowledge states by assessing whether an examinee has mastered specific attributes measured by the test. Attributes are skills or cognitive processes that are required to perform correctly on a particular item. Even though it is very important to specify the correct attributes to the items on Q-matrix, having the perfect Q-matrix is impossible. However, how can we have more accurate Q-matrix is the issue. This study aims to investigate the effect of the wrongly specified Q-matrix toward the item parameters and person parameters.

목차 (Table of Contents)

• Ⅰ. 서 론
• Ⅱ. 문헌연구
• Ⅲ. 연구방법
• Ⅳ. 연구결과
• Ⅴ. 결론 및 제언

참고문헌 (Reference)

1 김명화, "학습자의 인지 진단 방법에 관한 연구 -분수의 인지과정모델에 Bayesian 추론망 모델 적용" 고려대학교 1997

2 김성훈, "인지구조모형에 근거한 학생의 지식상태의 진단-규칙장이론(Rule-space theory)의 적용-" 한국교육학회 43 (43): 81-107, 2005

3 김지영, "인지 진단 이론을 활용한 중학교 과학 시험 결과의 분석" 한국과학교육학회 29 (29): 812-823, 2009

4 김성훈, "오개념 진단 및 교정을 위한 규칙장 모델의 알고리즘 개발" 한국교육평가학회 17 (17): 183-196, 2004

5 김성호, "범주형 자료의 인과모형에 의한 능력상태 추정과 교육적 활동" 10 (10): 183-212, 1997

6 DiBello, L., "Unified cognitive/psychometric diagnostic assessment likelihood-based classification techniques. in: Cognitively Diagnostic Assessment" Lawrence Erlbaum Associates 1995

7 Tatsuoka, K. K., "Toward integration of item response theory and cognitive error diagnoses. in: Diagnostic monitoring of skills and knowledge acquisition" Lawrence Erlbaum Associates 1990

8 Rupp, A. A., "Theory: Principles of diagnostic measurement with DCMs. in: Diagnostic Measurement: Theory, Methods, and Applica" The Guilford Press 8-77, 2010

9 Rupp, A. A., "The effects of Q-matrix misspecification on parameter estimates and classification accuracy in the DINA model" 68 : 78-96, 2008

10 Hartz, S., "Skills diagnosis: theory and practice. in: User Manual for Arpeggio software" ETS 2002

11 Tatsuoka, K. K., "Rule space: An approach for dealing with misconceptions based on item response theory" 20 (20): 345-354, 1983

12 Roussos, L., "Review of cognitively diagnostic assessment and a summary of psychometric models. in: Handbook of statistics: Vol. 26. Psychometrics" Elsevier 979-1027, 2007

13 Gitomer, D.H., "Performance modeling that integrates latent trait and class theory" 28 (28): 173-189, 1991

14 Tatsuoka, K. K., "Patterns of diagnosed mathematical content and process skills in TIMSS-R across a sample of 20 countries" 41 (41): 901-926, 2004

15 Chipman, S. F., "Introduction. in: Cognitively Diagnostic Assessment" Lawrence Erlbaum Associates 1-18, 1995

16 김성훈, "Individual Level Diagnoses with Group Level Standards:Applying Rule-Space Model on the ACT Assessment Mathematics Data and the Standards for Transition" 한국교육평가학회 20 (20): 165-194, 2007

17 김수진, "Fusion Model에 의한수학 능력 진단을 위한 Q-행렬의 정교화" 한국교육평가학회 21 (21): 115-139, 2008

18 Embretson, S., "Diagnostic testing by measuring learning processes: Psychometric considerations for dynamic testing. in: Diagnostic monitoring of skills and knowledge acquisition" Lawrence Erlbaum Associates 1990

19 "De la Torre, J., Templin J. & Henson, R. & (2010). NCME Training Session for Diagnostic assessment"

20 Tatsuoka, K. K., "Architecture of knowledge structure and cognitive diagnosis: A statistical pattern recognition and classification approach. in: Cognitively Diagnostic Assessment" Lawrence Erlbaum Associates 1995

21 De la Torre, J., "An Empirically based method of Q-matrix validation for the DINA model: development and applications" 45 (45): 343-362, 2008

22 Embretson, S., "A general latent trait model for response processess" 49 (49): 175-186, 1984

23 Hartz, S., "A Bayesian framework for the unified model for assessing cognitive abilities: blending theory with practice" The University of Illinois at Urbana-Champaign 2002