인지진단모형을 적용한 학업성취도 평가 결과 프로파일 보고 방안 탐색 = Investigating Score Reporting of Attribute Profiles from the National Assessment of Educational Achievement using Cognitive Diagnostic Models

국문 초록 (Abstract)

학업성취도 평가에서는 교과별 성취수준을 산출하여 각 성취수준에 대한 특성 기술과 함께 보고해왔다. 2011년부터는 평가결과표는 학생들의 전반적인 성취수준에 대한 정보 이외에 교과별로 하위 영역별 성취율을 추가 제공하였다. 하지만 개별 학생들의 보충학습에 도움이 되도록 하는 구조적인 인지 상태에 관한 세부 정보를 제공하지 못한다. 따라서 본 연구에서는 인지진단모형에 의해 분석된 결과를 바탕으로 한 평가 결과 보고 방식을 제안하였다. 먼저, 인지진단모형의 적용을 위해 필수적으로 요구되는 검사 도구의 Q 행렬을 개발하였고, 이를 기초로 인지진단모형 중 DINA 모형을 적용하여 피험자 모수와 문항 모수를 산출하였으며, 인지요소별 피험자의 숙달 정도를 분석하였다. 마지막으로 분석된 결과를 바탕으로 학생 및 학부모, 교사를 위한 평가 결과 보고 방식을 제안하였다. 본 연구에서 제안하는 인지진단적 평가 결과로서 프로파일 보고 방식은 개별 학생의 강약점에 대한 구체적인 피드백을 제공하여 효과적인 교수·학습의 개선을 지원할 것이다.

다국어 초록 (Multilingual Abstract)

Previous studies using the National Assessment of Educational Achievement (NAEA) have focused on providing broad domain-based scores categorized by 3 to 5 subscores or a holistic indicator of student performance. Such score reporting practices have faced criticism on their inability to provide specific information on the mastery of fine-grained attributes needed to improve teaching practices and individualized student learning. In light of these limitations, this study examines a new and alternative method in score reporting of attribute profiles using a cognitive diagnostic modeling approach for the NAEA. This study was conducted in the following format. First, Korean and mathematics items from the 6th grade NAEA were mapped to content and cognitive attributes specified by field experts into a systematic framework known as the Q-matrix. Second, using the DINA model, parameters relating to characteristics of the items and the prevalence of attribute mastery were estimated; these estimates were used to classify examinees on whether they mastered specific attributes specified in the Q-matrix. Finally, CDM-based score reports for students, parents, and instructors were developed. Enhancing score reporting practices at the attribute level provides more specific diagnostic feedback, which should lead to effective and improved methods for instruction and learning.

목차 (Table of Contents)

• Ⅰ. 서 론
• Ⅱ. 인지진단이론과 평가결과 보고
• Ⅲ. 연구방법
• Ⅳ. 인지요소 숙달 프로파일의 분석 결과 및 보고 방안
• Ⅴ. 결론 및 논의
• 참고문헌
• 저자소개

참고문헌 (Reference)

1 송미영, "인지진단모형을 통한 국가수준 학업성취도 평가 결과 분석 및 성적 보고 방법 탐색" 한국교육과정평가원 2011

2 김성훈, "인지구조모형에 근거한 학생의 지식상태의 진단-규칙장이론(Rule-space theory)의 적용-" 한국교육학회 43 (43): 81-107, 2005

3 김지영, "인지 진단 이론을 활용한 중학교 과학 시험 결과의 분석" 한국과학교육학회 29 (29): 812-823, 2009

4 김성숙, "우리나라 초․중․고 학생의 학업성취 특성 분석: 2009년 국가수준 학업성취도 평가 전수 결과 중심" 한국교육과정평가원 2010

5 김성훈, "대규모 학업성취도 평가 자료를 활용한 인지상태진단. 대규모 학업성취도 평가 자료의 활용 방안 탐색" 한국교육과정평가원 2009

6 김성숙, "국가수준 학업성취도 평가 체제 단중기 발전 방안" 한국교육과정평가원 2012

7 정은영, "국가수준 학업성취도 평가 결과 추이(2003년～2008년)-초등학교 6학년-" 한국교육과정평가원 2009

8 Haertel,E.H, "Using restricted latent class models to map the skill structure of achievement items" 26 : 301-321, 1989

9 Tatsuoka, K. K, "Rule-space: An approach for dealing with misconceptions based on item response theory" 20 : 345-54, 1983

10 Gierl, M. J, "Reliability of attribute-based scoring in cognitive diagnostic assessment" 46 : 293-313, 2009

11 Clark, S, "Relating latent class analysis results to variables not included in the analysis"

12 김수진, "Q-행렬 변화에 따른 혼합모형(Fusion Model) 모수 비교" 한국교육평가학회 23 (23): 487-507, 2010

13 Tatsuoka, K. K, "Patterns of diagnosed mathematical contents and process skills in TIMSS-R across a sample of 20 countries" 41 : 901-926, 2004

14 김수진, "Fusion Model에 의한수학 능력 진단을 위한 Q-행렬의 정교화" 한국교육평가학회 21 (21): 115-139, 2008

15 Rupp, A. A, "Diagnostic measurement: Theory, methods, and applications" Guilford Press 2010

16 Roberts, M. R, "Developing score reports for cognitive diagnostic assessments" 29 : 25-38, 2010

17 de la Torre, J, "DINA model and parameter estimation: A didactic" 34 : 115-130, 2009

18 College Board, "College Board"

19 Junker, B. W, "Cognitive assessment models with few assumptions, and connections with nonparametric item response theory" 25 : 258-272, 2001

20 Embretson, S. E, "Applications of cognitive design systems to test development, In Cognitive assessment: A multidisciplinary perspective" Plenum Press 107-135, 1994

21 Huebner,A, "An overview of recent developments in cognitive diagnostic computer adaptive assessments" 15 (15): 1-7, 2010

22 Jang,E.E, "A validity narrative: Effects of reading skills diagnosis on teaching and learning in the context of NG TOEFL" University of Illinois at Urbana- Champaign 2005

23 von Davier,M, "A general diagnostic model applied to language testing data" ETS 2005

24 Hartz,S.M, "A Bayesian framework for the unified model for assessing cognitive abilities: Blending theory with practicality" University of Illinois at Urbana- Champaign 2002

25 김신영, "5.31 이후 교육평가 정책의 변화와 발전 방향" 한국교육과정평가원 2010

26 김성숙, "2011년 국가수준 학업성취도 평가 개선 방안" 교육과학기술부 2011