영어 말하기 평가에서 평가자 배경언어의 발화와 인지 요소가 미치는 영향 연구

국문 초록 (Abstract)

본 연구는 영어 말하기 평가의 신뢰도와 타당도를 검증하기 위하여 채점자의 배경언어(영어 원어민과 한국인 평가자)와 평가 내용 과업(구조 확정형과 개방식）요인이 말하기 평가의 발음 영역에 어떤 영향을 미치는 지를 살펴보았다. 연구 목적은 우리나라에서 한국인에 의한 한국인 영어 말하기 평가가 신뢰도와 타당도를 담보할 수 있는지를 알아보고자 하는 것이다.
Rasch 모형에 근거한 FACETS 프로그램을 이용한 영어 말하기 평가를 채점자, 수험자, 평가과업, 평가영역등 여러 요인으로 나누어 살펴보았다. 본 연구 결과는 요약하면 다음과 같다. 분석 결과 두 집단 모두 전반적으로 내적 일관성을 유지하고 있었고, 엄격성 측면에서도 비슷한 정도의 형태를 보이고 있었다. 그리고 두 집단 모두 등급간 척도가 적절함을 유지하고 있었다. 그러나 문법 영역과 담화 영역에서 두 집단간 차이를 보이고 있었다.
전반적으로 두 집단 모두 평가의 내적 일관성을 유지하고 있지만, 평가자가 원어민이냐 비원어민이냐에 따라 평가의 준거가 달라지는 경향이 일부 발견되었다. 어떤 한국인 평가자들은 채점 일관성을 측정하는 내, 외적합 제곱 평균값이 －2.9와 －3.6사이에 위치함으로서 과적합 채점 경향을 보이고 있었다. 이는 대다수 영어 원어민이 －2와 ＋2사이에 분포하는 채점 경향과 상당히 대비되는 것이다. 그러나 평가 편향성 측정에서는 원어민 평가자가 비교적 과적합 반응 비율이 높게 나왔다. 이는 과업/영역과 집단 영역 변수가 심각한 정도의 관계를 가진다는 의미이며, 이들의 평가가 매우 관대하게 이루어진다는 것을 뜻한다. 이는 공정한 영어 말하기 평가를 위하여 두 집단 모두 집단 평가 영역과 과업에 대하여 일관적인 준거를 기반으로 하는 신뢰성있는 평가훈련이 필요하다.

다국어 초록 (Multilingual Abstract)

The study investigated the effects of raters, examinees and rating areas on the validity and reliability for Korean English speaking assessment. Ten native English and Korean raters assessed the fourteen Korean English speakings by following five rating criteria. Quantitative analysis is carried out using FACETS program with multi-facets Rasch model. The results are as follows: (1) native English raters tend to assess strictly rather than Korean raters, (2) the strict assessment put on open-ended response task, while we can find the relaxed assessment on directed response or story-telling response task, and (3) both groups evaluate strictly on grammar section, while they give higher scores on cohesive discourse. The study finds that Korean raters could cause the problems of reliability and validity on their assessment. Some Korean raters tend to show over-fitted or under-fitted assessment. The result informs us that Korean raters should carry out the assessment training before the real assessment.