혼합형 검사의 서술형 문항 구성 비율이 검사 신뢰도에 미치는 영향에 대한 다변량 일반화가능도 분석

국문 초록 (Abstract)

본 연구에서는 혼합형 검사의 선다형 문항과 서술형 문항의 비율 및 문항 유형별 배점을 다양하게 변화시켜 각각의 조합에 따른 일반화가능도계수와 조건부측정오차를 비교하고자 한다. 선다형 문항과 서술형 문항의 비율은 검사의 내용 영역과 행동 영역의 대표성을 반영하는 데 필요한 최소한의 문항수와 한 검사에 주어진 제한 시간을 고려하여 검사에 포함시킬 수 있는 최대한의 문항수를 동시에 고려하여 결정할 예정이며, 이를 위해 해당 분야의 내용 전문가의 협의를 거쳐 결정하고자 한다. 또한 문항 유형별 배점 및 합성 점수 산출시 선다형 문항 및 서술형 문항에 부여하는 가중치 역시 현행 배점 방식과 이를 다양하게 조정한 배점 방식에 대해서 각각 일반화가능도계수 및 조건부측정오차를 산출하고자 한다.
또한 본 연구에서는 혼합형 검사의 선다형 문항과 서술형 문항의 비율 및 문항 유형별 배점을 다양하게 변화시킴에 따라 검사의 일반화가능도 계수 및 조건부 측정오차가 어떻게 달라지는 지를 탐색하기 위하여 다변량 일반화가능도이론에 근거한 G연구와 D연구를 수행하고자 한다. G연구의 분산 및 공분산 성분과 D연구의 분산 및 공분산 성분을 추정하기 위하여 본 연구에서 설정한 모형은 설계이다. 이 설계는 모든 피험자(p)가 선다형 문항과 서술형 문항 유형을 포함한 모든 문항 유형(i)을 교차해서 치르며, 모든 채점자(r)가 모든 응답을 채점하는 형태의 모형이다. 즉, 피험자들은 고정 국면인 문항 유형 국면과 교차되어 있고, 채점자들 역시 고정 국면인 문항 유형 국면과 교차되어 있으므로 둘 다 닫힌 원으로 표시하였고, 문항들 중 일부는 선다형 문항, 일부는 서술형 문항으로 문항 유형 국면에 내재되어 있으므로 열린 원으로 표시하였다. 공분산과 관련된 항들은 문항 유형과 교차되어 있는 국면에 대해서는 추정될 수 있지만 문항 유형 국면에 내재된 국면에 대해서는 추정되지 않는다. 피험자 국면과 문항 국면, 그리고 채점자 국면은 무한대로 가정하였으며, 따라서 각 국면에 대한 분산 성분은 임의 효과 분산 성분이라고 할 수 있겠다. 현재 대부분의 학교 현장에서는 단일한 채점자가 채점한 결과를 보고하는 사례가 많고, 따라서 채점자 국면이 고정국면으로 설정되는 경우가 많으나, 서술형 평가 문항의 비율이 높아지고 논술형 문항 유형으로 성격이 변화되게 되면 채점의 공정성 문제가 표면적으로 대두될 것이므로 복수 채점 제도를 시행하는 학교가 늘어날 것으로 예상된다. 따라서 본 연구에서는 채점자 국면을 임의 국면으로 설정하여 D연구 결과를 통해 채점자 수의 증가에 따른 일반화가능도 계수의 변화도 함께 살펴보고자 한다.