DINA 모형에 의한 인지요소숙달 추정 방법간 비교 및 초등학생의 인지요소숙달 변화 = A Comparison of Skill Mastery Estimation Methods for DINA and Changes of Skill Masteries of Elementary Students

국문 초록 (Abstract)

본 연구의 목적은 첫째, 초등학교 5학년 수학과의 성취도를 연중 측정한 자료를 이용하여 인지요소숙달 추정을 위한 MLE(maximum likelihood estimation), MAP(maximum a posteriori), EAP(expected a posteriori) 방법간 인지요소 숙달의 분류일관성 정도를 알아보고, 둘째, 수학과에서 도출된 인지요소(attributes)의 숙달 비율이 연중 어느 정도 변화하는지를 알아보는 것이었다. 연구를 위해 먼저 4개의 검사(가, 나, 다, 라 형)를 동일한 검사계획표에 따라 개발하고, 약 500명 내외의 4개 무선 집단에 4개의 검사형을 시행했다. 이렇게 해서 구해진 4개 검사형의 문항모수는 동일한 척도에 있도록 했다. 다음으로 125명의 학생들에게 연중 4회에 걸쳐 가, 나, 다, 라형을 차례로 시행했다. 4회 시행된 응시생의 문항반응 자료와 4개 무선집단에서 구한 문항모수를 이용하여 인지요소숙달 여부를 세 가지 방법으로 추정했다. 연구결과 인지요소숙달 추정 방법간 일치도 평균은 .68로 높지 않았다. MAP와 EAP간 분류일치도(.90)가 가장 높았고, MLE와 EAP간 분류일치도(.68)가 가장 낮았다. EAP를 사용하되 MLE나 EAP방법도 함께 추정하여 결과를 비교 검토할 것을 권장했다. 응시생들의 인지요소 숙달 평균은 전체적으로 증가하지만 인지요소별로 변화 패턴에 있어 차별성이 있었다.

다국어 초록 (Multilingual Abstract)

The purposes of this study were twofold. First, this study was to examine the classification consistencies among the maximum likelihood estimation (MLE), maximum a posteriori (MAP), expected a posteriori (EAP) using the DINA model. Second, this study was to examine the extent to which the proportions of skill masteries in attributes at Mathematics were changed during the school year of grade 5. We developed four forms as similar as possible and administered to four randomly equivalent groups, each group having about 500 examinees. The item parameters were estimated with the DINA model separately for each form and on the same scale. A total 125 Grade 5 examinees took the four forms sequentially during their school year. There were 6 attributes. With the item parameters obtained the random groups and the item responses of 125 examinees, skill patterns of the 125 examinees were estimated with the MLE, MAP, and EAP methods. The results showed that the average percent of exact agreements among MLE, MAP, and EAP methods across times and methods were .684, which was somewhat low. However, the exact agreement between MAP and EAP tended to produce higher results (.90) than any other combinations of the methods. The MLE and EAP methods produced the worst agreement (.68). The proportions of skill masteries were increased as times go on, but the growth patterns in the attributes were different by the 6 attributes.

목차 (Table of Contents)

• Ⅰ. 서론
• Ⅱ. 이론적 배경
• Ⅲ. 연구방법
• Ⅳ. 연구결과
• Ⅴ. 결론 및 논의
• 참고문헌
• 저자소개
• 〈ABSTRACT〉

참고문헌 (Reference)

1 박윤수, "인지진단모형의 다층 분석을 적용한 국가수준 학업성취도 평가 결과 분석: 지역 간 인지요소 숙달 차이를 중심으로" 한국교육평가학회 25 (25): 193-212, 2012

2 김성은, "인지진단모형을 적용한 잠재집단별 분수뺄셈검사 문제해결 전략의 차이 분석" 한국교육평가학회 25 (25): 49-68, 2012

3 김선, "연중 학업성취도의 변화 측정을 위한 점수산출 방법의 비교" 한국교육평가학회 24 (24): 1039-1060, 2011

4 김선, "연중 수학과 성취도 변화 연구: 초등학교 5학년 학생들을 중심으로" 한국교육과정평가원 14 (14): 385-408, 2011

5 김선희, "수학 평가 결과의 분석을 위한 인지 진단 이론의 활용" 대한수학교육학회 10 (10): 259-277, 2008

6 김성훈, "다층모형을 적용한 능력 변화과정의 측정" 12 (12): 169-193, 1999

7 김성훈, "능력 변화과정 추정을 위한 시험자료의 동등화 방법 연구" 13 (13): 101-125, 2000

8 Cheng,Y, "When cognitive diagnosis meets computerized adaptive testing:CD-CAT" 74 (74): 619-632, 2009

9 Haertel,E.H, "Using restricted latent class models to map the skill structure of achievement items" 26 : 301-323, 1989

10 Holland, P. W, "Univariate and bivariate loglinear models for discrete test score distributions" 25 (25): 133-183, 1990

11 Hoover,H.D, "The most appropriate scores for measuring educational development in the elementary schools: GE's" 3 (3): 8-14, 1984

12 Kolen, M. J, "Test equating, scaling, and linking: Methods and practices (2nd ed.)" Springer 2004

13 Fleiss,J.L, "Statistical methods for rates and proportions (2nd ed.)" Wiley 1981

14 Kolen,M.J, "Scaling and norming, In Educational measurement" American Council on Education and Praeger 155-186, 2006

15 김수진, "Q-행렬 변화에 따른 혼합모형(Fusion Model) 모수 비교" 한국교육평가학회 23 (23): 487-507, 2010

16 Kolen, M. J, "Psychometric properties of IRT proficiency estimates" 29 (29): 8-14, 2010

17 Doornik,J.A, "Object-oriented matrix programming using Ox(Version 3.1)[Computer software]" Timberlake Consultants Press 2002

18 von Davier, M, "Measuring growth in a longitudinal large-scale assessment with a general latent variable model" 76 (76): 318-336, 2011

19 de la Torre, J, "Higher-order latent trait models for cognitive diagnosis" 69 (69): 333-353, 2004

20 김수진, "Fusion Model에 의한수학 능력 진단을 위한 Q-행렬의 정교화" 한국교육평가학회 21 (21): 115-139, 2008

21 Rupp, A. A., "Diagnostic measurement theory, methods, and applications" The Guilford Press 2010

22 김성훈, "DINA 모형을 활용한 대규모 학업성취도 평가 결과 분석" 한국교육과정평가원 14 (14): 177-200, 2011

23 de la Torre,J, "DINA model and parameter estimation: A didactic" 34 (34): 115-130, 2009

24 Yen, W. M, "Comparison of item response theory and Thurstone methods of vertical scaling" 34 : 293-313, 1997

25 Junker, B. W, "Cognitive assessment models with few assumptions, and connections with nonparametric item response theory" 25 : 258-272, 2001

26 Huebner,A, "An overview of recent developments in cognitive diagnostic computer adaptive assessments" Practical Assessment, Research & Evaluation

27 de la Torre, J, "A note on the invariance of the DINA model parameters" 47 (47): 115-127, 2010

28 Huebner, A, "A note on comparing examinee classification methods for cognitive diagnosis models" 71 (71): 407-419, 2011

29 Cohen,J, "A coefficient of agreement for nominal scales" 20 : 37-46, 1960