국가수준 국어과 평가의 정렬성 판정 연구

국문 초록 (Abstract)

이 연구에서는 국가수준에서 진행되는 국어과 학업성취도 평가의 정렬성을 판정하였다. 정렬성(alignment)란 평가의 성취기준과 실제 개발된 평가 도구 사이의 일치 정도를 뜻한다. 국어과 교육을 구성하는 주요 변인은 교육과정, 교과서, 수업, 평가를 들 수 있다. 정렬성이란 각각의 변인들이 서로 유기적으로 잘 일치하는 것을 말한다. 만약에 이 네 변인 사이에 정렬성이 낮게 된다면 ‘교육과정 따로, 교과서 따로, 수업 따로, 평가 따로’와 같은 현상이 발생한다. 따라서 국어과 교육을 효율적으로 실행하고, 효과를 높이기 위해서는 네 변인 사이의 정렬성을 높여야 한다. 본 연구에서는 이 중에 교육과정의 성취기준과 국가수준 평가 사이의 정렬성 정도를 판정해 보려는 연구이다.
본 연구에서 분석 대상으로 삼은 평가는 2006년도 시행 초등학교 6학년, 중학교 3학년, 고등학교 1학년 평가였다. 국어과 성취도 평가는 국가수준에서 학력의 추이를 점검하고 교육과정의 질을 판단하는 정책 자료로 많이 사용된다. 그러므로 이 평가도구가 애초에 의도하는 성취기준과 제대로 정렬성을 갖추고 있는지 판정하는 것이 필요하다. 잘 정렬되지 않은 평가 도구에 의한 결과를 가지고 정책 수립을 할 수 없기 때문이다.
이 연구에서는 정렬성 판정을 하기 위해 국어과 평가의 정렬성의 개념, 연구 동향, 선행 연구, 분석 모형의 개관, 분석 기준과 판정 준거 등에 대해 탐구하였다. 먼저 정렬성의 개념을 정의하면 다음과 같다. 국어과 평가의 정렬성은 국어과 교육과정의 성취기준과 평가 도구 사이의 체계적인 일치 정도를 말하는 것으로 전통적으로 교육 평가에서 탐구해오던 내용타당도 개념을 확장시킨 개념이다. 그러나 정렬성 연구는 접근 방법, 분석 내용, 분석 기준, 판정 준거 등에서 종래의 내용타당도 연구와 구별된다.
정렬성 연구의 배경에는 기준에 근거한 교육 개혁 흐름이 놓여 있다. 미국에서는 NCLB(No Child Left Behind) 정책이 배경이 된다. 2014년까지 미국의 학생들의 학력을 향상시키기 위해서는 매년 향상도를 평가하는 도구가 필요하였다. 그리고 이 평가도구는 각 주의 성취기준과 정렬성을 갖출 필요가 있었다. 외국에 비해 국내의 정렬성 연구는 시작 단계라 할 수 있다. 정렬성 분석 모형으로 SEC 모형, Achieve 모형, Webb 모형이 있었다. Webb 모형은 정렬성 분석 기준으로 ‘범주의 일치도, 지식의 깊이의 일관성, 지식의 범위의 일치도, 표집의 균형성’을 사용하고 있었으며, 각 기준 별로 정렬성의 수락 정도를 판정할 수 있는 준거를 제시하고 있었다. 이 모형은 본 연구에서 사용되었는데 각각의 개념과 판정 준거는 다음과 같다.
첫째, 영역 일치도(Categorical Concurrence)는 ‘평가는 성취기준과 같은 영역의 내용을 다루고 있는가 ’의 문제이다. 둘째, 지식의 범위의 일치도(Range of Knowledge Correspondence)는 ‘평가가 측정하는 지식의 범위가 성취기준에서 요구하는 지식의 범위와 유사한가 ’의 문제이다. 셋째, 표집의 균형성(Balance of Representation) 정도는 ‘어떤 영역에 속한 각각의 성취기준들은 문항 개발에서 골고루 중시되는가 ’의 문제이다. 끝으로, 지식의 깊이(Depth of Knowledge: DOK) 일치도는 ‘평가가 성취기준에서 의도한 것과 같은 정도의 지식이나 기능의 인지적 복잡성(cognitive complexity)을 요구하고 있는가 ’의 문제이다.
본 연구에서는 이러한 이론적 기초를 토대로 9명～12명 내외로 분석위원회

다국어 초록 (Multilingual Abstract)

In this study, two main topic are articulated. First, this paper investigated the basis of analyzing the alignment between achievement standards and Korean subject assessments. Specifically, the concept of alignment, research trends, analysis models, analysis tools, and judging criteria were reviewed. The alignment is the degree of systematic consistency between the curriculum standards and assessments. Traditionally it was studied content validity fields. Nowadays, alignment is different from content validity such as approaching perspectives, range of analysis, analysis tools, and judging criteria.
There are three alignment models, which were SEC model, Achieve model, and Webb model. Webb model was investigated more detailed. It uses four analysis tools, such as categorical concurrence, depth of knowledge, range of knowledge, and balance of representation.
Second, this paper examined the alignment between the achievement standards for National Assessment of Educational Achievement(NAEA) and Korean Subject Assessment items which were administrated in 2006 year for 6th, 9th, 10th grade students(KSA for 6th, 9th, 19th).
In this research, alignment analysis tools were developed. Reviewer committee was constituted by 9～12 Korean subject specialists. They joined the workshop twice, produced alignment data. These data analyzed by Webb alignment model. Its criteria are categorical concurrence, depth of knowledge, range of knowledge, and balance of representation.
In conclusion, the alignment between NAEA and KSA for 6th, 9th, 10th are 'weak'. KSA for 6th, 9th, 10th are not acceptable in depth of knowledge consistency. To improve KSA, it should develop test items's depth of knowledge more high skills than achievement standards's depth of knowledge.