중등영어교육 수행평가를 위한 음성인식기술기반 모의구술면접 모형 개발

국문 초록 (Abstract)

현재 대학 수학능력 시험 영어영역에서 이해기능 위주의 평가가 이루어지고 있으므로, 중등 영어교육 일선현장에서는 말하기 능력을 위한 수업이 거의 배제되고 있는 실정이다. 결국, 대학 입학 후에야 비로소 영어 말하기 능력을 위해 개인과 학교를 포함해서, 국가적으로 엄청난 비용과 노력을 투자하지만, 그 효과성에 대해서는 회의적이다(최인철, 1999). 따라서, 보다 효과적인 영어 말하기 능력 배양을 위해서는 중등 영어교육 현장의 수업 방식이 개선되어야 하며, 그러기 위해서는 교육에 막대한 환류효과(washback effect)를 가지고 있는 평가방식에 근본적인 변화가 있어야 한다. 말하기 능력 평가의 가장 큰 문제는 채점 신뢰성과 실용성/경제성에 있다. 즉, 평가자간(inter-rater) 신뢰성과 평가자내(intra-rater) 신뢰성의 내재적인 문제점(McNamara, 1996)과 함께 원어민 평가자의 채점에 요구되는 고비용 때문에 긍정적인 환류효과가 있는 수행평가(performance testing: Shohamy, 1995)가 일선 교육과 평가 현장에서 활용되지 못하고 있다. 대입시제도 개선안에 의하면 수능시험이 2008학년도부터는 자격고사화가 예정되어 있으므로, 중등교육현장에서 내신성적의 중요성이 더욱 부각되고 있다. 내신성적이 내실을 기하기 위해서는 수행평가의 채점 방식이 신뢰성과 타당성을 충족해야 하는데, 이에 대한 체계적인 연구가 미흡한 실정이다. 특히, 말하기 능력의 수행평가의 실행 정도는 일선 교사의 영어의사소통능력에 따라 큰 차이를 보이고 있어서, 시급히 풀어야 할 과제이다. 이런 점에서, 본 연구에서는 다양한 시험방식과 함께 음성인식 기술(ASR: Automatic Speech Recognition; 최인철, 2004; Malabonga와 Kenyon, 1999; Godwin-Jones, 2001; Witt, 1999)을 활용한 컴퓨터기반 모의구술 면접평가(COPI: Computer-based Simulated Oral Proficiency Interview) 방식이 수행평가 타당성에 미치는 영향을 체계적으로 분석함으로써, 중등교육현장에서 절실히 요구되는 말하기 능력 수행평가를 위해서 음성인식기술을 기반으로 하는 타당한 모의 구술면접 평가의 모델을 구현하고자 하였다.
연구 대상인 음성언어 자료의 신뢰성을 확보하기 위해서 타당한 다양한 시험방식을 도입하여 시행한 COPI의 신뢰성은 .9이상으로 상당히 높은 것으로 나타났다. 또한, 원어민 채점자간 높은 신뢰도(.9이상)로써 신빙성이 높은 기초 자료를 확보하였다. 또한, 전체집단에서 컴퓨터 채점과 원어민 채점간의 상관관계는 .829로서 높게 나타났다. COPI의 각 시험방식별 수험결과와 원어민 채점결과간의 상관관계를 보면, 다른 방식보다 받아쓰기가 .814로서 가장 높은 상관관계를 보였다. 이는 아직 신뢰성에서 다소 미흡하다고 여겨지는 음성인식기를 사용하지 않고도, 수행평가에서 받아쓰기방식을 활용하여 구술능력의 간접적 평가를 신뢰성 있게 시행할 수 있음을 보여주는 결과이다.

다국어 초록 (Multilingual Abstract)

The deficiency of competent native English speaker raters and the inherent problem with intra-rater and inter-rater reliability of the oral proficiency interview (OPI) has precluded the full-fledged implementation of English performance testing, inevitably ushering in the computer-based oral proficiency interview (COPI) as its viable alternative with the help of automatic speech recognition (ASR). The plausibility and feasibility of implementing ASR-based COPI has recently been investigated with favorable results, which warrants more sophisticated research focusing on development of desirable test methods that will meet the rigorous criteria required by high-stakes language tests.
In this respect, employing varied statistical methods as correlational, regression analyses, and ANOVA, the present study attempts to explore strengths and limitations of test method facets and to identify valid test methods to maximize the validity and reliability of ASR-based COPI. Within the theoretical framework of communicative language components to be measured, the statistical findings reveal that some test methods prove to be more effective than others in producing COPI test results with better discriminability and reliability. The survey of students and teachers also suggest their favorable attitudes toward utilizing the COPI for in-class evaluation. Both findings strongly corroborates potential of the COPI in question as a valid performance testing tool to measure overall communicative competence. The current research is expected not only to shed light on advancement of performance testing, but also to serve the purpose of enhancing communicative English teaching.