고등학생 영어학습자의 말하기 평가에서 채점자 훈련의 효과 및 채점자 인식 분석

다국어 초록 (Multilingual Abstract)

This study aims to examine how effectively the rater training can improve the inter- and intra-rater reliability in speaking evaluation, and to analyze how teachers' perceptions change as the training sessions are gone through. The rater training consists of four sessions within a group of the current teachers in Korean high school and the data was analyzed through the Many-Facet Rash Measurement(MFRM). By interviewing the teachers at the end of each session this study explored whether rater training is perceived as a necessary process for evaluating speaking skill.
The result revealed that the both the inter- and intra-rater reliability increased and the raters’ biases were reduced with the rater training, ensuring that the raters’ inner consistency is ultimately retained. Before the training, teachers expressed concerns about whether they could improve the credibility of their evaluation, but as the sessions went on, they agreed on the need for the training and its effectiveness.
These findings provide useful insights into the effectiveness of the rater training and raters’ perceptions of the training and the whole evaluation process and offer implications for implementing rater training in school field.

국문 초록 (Abstract)

본 연구는 말하기 평가에 있어 채점자 훈련이 채점자내 신뢰도와 채점자간 신뢰도를 얼마나 효과적으로 향상시킬 수 있을지를 고찰하고, 훈련 차시별로 교사들의 인식이 어떻게 변화하는지 추이를 살펴보고자 고안되었다. 채점자 훈련은 총 4회에 거쳐 현직 교사 집단 내에서 실시되었으며, 훈련에 대한 효과성을 다국면 라쉬 분석법(Many-Facet Rasch Measurement)을 통하여 검증하였다. 또한 훈련이 차시별로 진행됨에 따라 교사들의 인식이 어떻게 변화하는지 인터뷰를 통해 심층적으로 살펴봄으로써 채점자 훈련이 교수에 있어 필요한 과정이라 인식이 되는지 탐색하였다. 연구 결과 채점자들은 훈련 전에는 전체 편향으로 네 명 모두 관대성을 갖고 있었지만 그 정도의 차이가 채점자 훈련을 진행하며 점점 감소하였다. 특히 채점자내 신뢰도의 경우 부적합 양상이 사라지는 것을 관찰할 수 있었으며 궁극적으로 채점자내에서 채점의 일관성이 확보되었다. 또한 훈련 전 교사들은 과연 채점의 신뢰도를 높일 수 있을지 우려를 표현하였지만 궁극적으로 훈련이 효과가 있었으며 지금까지 이를 실시하지 않았다는 점을 오히려 반성하며 채점자 훈련의 필요성에 공감하였다. 이러한 과정을 통해 한국의 고등학교 평가 현장에서 채점자 훈련의 필요성을 환기할 수 있었으며 훈련과 인터뷰 과정을 통하여 채점자 훈련이 타당하고 신뢰도 있는 평가에 기여했음을 확인할 수 있었다. 이에 따라 채점자 훈련은 직접평가가 시행되는 현 교육 현장에서 꼭 필요한 과정이라 할 수 있겠다.