군집분석을 이용한 수준설정 방법 연구

국문 초록 (Abstract)

이 연구의 목적은 군집분석을 이용한 수준설정 방법의 절차에 관해 제시하고 타당성에 대해서 검토하는 것이다. 현재 대부분의 수준설정 방법들은 학생들이 보여주는 수행에 대한 객관적인 데이터보다는 패널들의 판단에 근거하여 수준에 맞게 분할점수가 산출된다. 군집분석을 이용한 수준설정 방법은 학생들의 데이터를 근거로 학생들을 분류하므로 학생들이 무엇을 할 수 있는지에 초점을 둔 수준을 제안할 수 있다. 단, 군집분석을 이용하여 산출된 분할점수가 의도된 수행수준을 대표하고 설정된 수행수준이 타당하다는 근거가 필요하다. 따라서 분할점수에 대한 타당한 근거가 뒷받침 된다면 군집분석을 이용하여 수준설정을 할 수 있으며, 군집분석이 학생들의 실제 데이터를 근거로 분할점수를 산출하므로 기존의 수준설정 방법과는 차별성을 가지는 하나의 대안이 될 수 있다.
이를 위해 설정한 연구문제는 다음과 같다. 첫째, 군집분석을 이용한 수준설정 방법을 위해 적절한 군집 수 결정과정을 제시한다. 둘째, 결정된 군집 수를 토대로 군집분석을 이용한 수준설정 방법을 제시한다. 셋째, 군집분석을 이용한 수준설정 방법의 내적준거 정보를 제시하고 과목간 차이를 비교한다. 넷째, 군집분석을 이용하여 산출된 분할점수를 북마크방법과의 비교를 토대로 외적준거 정보를 제시하고 과목간 차이를 비교한다.
이 연구에서 군집분석을 이용한 수준설정 방법은 크게 두 단계를 거쳐 분할점수를 산출한다. 1단계는 군집 수 결정 단계이다. 군집 수 결정을 위해 먼저, 계층적군집화를 시행한 후 , CCC(Cubic Clustering Criterion), Pseudo-F, Pseudo- 통계치를 토대로 보수적인 입장에서 적절한 군집 수의 범위를 정한다. 적절한 군집 수 범위를 대상으로 K-평균군집화를 전체데이터 및 데이터를 2개로 분할하여 시행한 후 랜드지수와 수정된 랜드지수를 근거로 최종 군집 수를 결정한다. 최종적으로 결정된 군집 수는 분산분석을 통하여 통계적 검증과정을 거친다. 2단계는 군집분석 수준설정 단계이다. 각 교과의 하위영역에 대한 Z-점수 평균을 군집 별로 프로파일링 하여 도달/미도달의 수준을 정한 후 경계선집단방법과 대비집단방법을 이용하여 최종 분할점수를 산출한다. 군집분석을 이용한 수준설정 방법의 타당도 확보를 위하여 Hanson과 Brennan(1990)의 분류일치도 결과를 근거로 내적준거의 자료를 검토하였으며, Kappa 계수를 이용하여 최근에 많이 사용되고 있는 북마크방법과의 결과 비교를 통해 외적준거를 검토하였다.
분석결과는 다음과 같이 요약할 수 있다. 첫째, 군집 수 결정은 계층적군집화 결과를 바탕으로 보수적 입장에서 적절한 군집 수 범위를 정한 후, 랜드지수를 근거로 최종 군집 수를 결정 하였다. 둘째, 군집분석을 이용한 수준설정은 각 교과의 하위영역에 대한 Z-점수 평균을 군집 별 프로파일링 분석을 통해 적정 수준 구분을 결정하고, 경계선집단방법과 대비집단방법을 적용하여 분할점수를 산출하였다. 셋째, 군집분석을 이용한 수준설정 방법의 내적준거로 사용한 분류일치도 계수는 5개 교과에서 베타분포와 4모수-베타분포 가정에서 비교적 높게 나타났으며 북마크방법과의 차이도 크지 않았다. 넷째, 군집분석을 이용한 수준설정 방법과 북마크방법의 분할점수 차이는 국어교과는 1점, 영어교과는 2점, 수학교과는 분할점수가 같으며, 사회교과는 3점, 과학교과는 3점으로 3점 이내의 차이를 보였으며 Kappa 계수는 평균 0.81로 높게 산출되었다.