채점 자동화 시스템 구축을 위한 수학 구성형 문항 채점의 일반화 가능도 연구 = An Application of the Generalizability to Constructed-Response Items in Mathematics for Computer Automated Scoring

국문 초록 (Abstract)

본 연구는 채점 자동화 시스템을 구축하기 위하여 수학 구성형 문항의 신뢰도 및 일반화 가능도를 검증하려 한다. 공통수학영역에서 구성형으로 제작된 10문항으로 구성된 가형과 나형의 검사를 120(가형 49명, 나형 71명)명의 피험자가 컴퓨터로 시험을 치렀다. 이런 시험 결과를 수학교사 2명, 수학교육전문가 2명이 채점하였다. 채점자간 상관계수는 가형 .962 ∼ .982로 채점자간 상관계수는 상당히 높은 편이다. 특히 컴퓨터 채점과 채점자간 상관관계 모두 .90이상으로 매우 높았다. Brennan(1983, 2003, 2001)이 제시한 일반화가능도이론을 사용하여 수학 구성형 채점시스템의 오차변인을 분석하였다. 분석결과 문항변인과 피험자×채점자 상호작용 분산이 컸다. 또한 잔차 분산이 큰 부분을 차지하고 있었다. D연구결과는 문항과 채점자 수가 증가할 때 오차분산과 일반화가능도계수가 커졌다. 또한 문항수가 8개이고, 채점자수가 4명일 때 적정한 일반화가능도 계수를 얻을 수 있었다.

다국어 초록 (Multilingual Abstract)

This study investigated test the reliability and generalizability to constructed - response items for the computer automated scoring(CAS) program. The program developed computer delivery and scoring of complex constructed-response item in the content of high school mathematics. The 49 students took one of two tests, 71 students took the other test, which two tests composed of 10 constructed-response items. Two teachers and two experts in mathematics education scored the result of the tests. The correlation coefficiants of interrater were relatively high. Especially the correlation coefficiants between raters and computer scoring were high, all of them above .90. The research analyzed generaliziability of the result of scoring to use Generalizabiltiy Theory. The result showed that the effects of item(i;p) and person× rater (pr) were relatively high. The results of D study were that the variance of error and generalizabity coefficiant increased, as the number of item and rater increased.

목차 (Table of Contents)

• 초록 Ⅰ. 연구의 필요성 및 목적 Ⅱ. 채점 자동화 시스템에 대한 이론적 논의 Ⅲ. 연구방법 Ⅳ. 연구결과 Ⅴ. 결론과 제언 참고문헌 저자소개 Abstract