특수목적 영어 능숙도 평가 및 해석: 군사영어를 중심으로

국문 초록 (Abstract)

가. 평가 지침서(Test Specification) 개발
평가 지침서는 평가의 목적 및 활용 방안, 성취 수준, 평가 영역 및 등급 등 평가의 전 영역을 망라하는 일종의 평가 매뉴얼이라고 할 수 있다. 특수 목적 영어인 군사영어 평가를 위해서 본 연구에서는 델파이 기법 및 전문가 패널 인터뷰를 실시하여 군사영어 교육 목표 및 달성 수준에 대한 개념적, 조작적 정의를 도출하고자 한다.
델파이 기법과 병행하여, 특수목적 언어 교육인 각 사관학교의 영어 과정을 분석함으로써 평가 지침서의 완성도를 높일 수 있다. 각 군 사관학교의 영어 교육 목표, 각 학년 공통 영어 과목 교육 목표, 영어 전공 교육 목표 등을 분석하여, 목표 설정의 적절성 여부와 각 학년 교육 목표 간의 유기성을 점검하고, 각 목표와 교과과정을 비교, 분석하여 미래 군이 필요로 하는 실질적이고 달성 가능한 영어 교육 목표를 재정립하고 이에 적합한 평가 지침서를 개발한다. 이처럼 델파이 기법과 교과과정 분석을 통해 도출된 영어 교육 목표에 대한 조작적 정의를 도출하여 평가 도구 개발에 적용하도록 한다.

나. 평가 도구 개발
평가 지침서 개발 이후, 본격적으로 평가 도구 개발에 착수한다. 평가 도구 개발은 크게 문항 개발과 컴퓨터 프로그램 개발/업그레이드로 구분된다. 평가 문항은, 평가 지침서를 근간으로 하여 사관학교 교수 및 한미 연합사, 육군정보학교 어학처 교관등에 의뢰하여 1차적으로 예비검사용 30문항을 제작한다. 문항은 크게 교육생용 15문항과 간부용 15문항으로 구분하여 보다 응시자의 여건과 응시 목적에 부합할 수 있도록 구성한다. 각 단계별 (교육생용/간부용) 15 문항 가운데 난이도와 문항 유형 등을 고려하여 최종 예비검사용 문항을 각각 5문항씩 선별한다. 문항 유형은 별도의 자료나 정보없이 직접 대답하거나, 표/그림등의 정보를 이용하여 답하는 ‘독립형 문항’과 듣기 지문이나 읽기 지문을 참조하여 답변하는 ‘통합형 문항’으로 구분, 제작함으로써 컴퓨터를 이용한 말하기 시험의 단점, 즉 상호작용의 부재를 일부 극복하도록 한다.
문항 개발과 병행하여, 실제로 말하기 평가의 플랫폼이라 할 수 있는 컴퓨터 프로그램의 개발 및 업그레이드를 진행한다. 국내 모 사관학교에서 지난 2003년에 개발하여 현재까지 실시하고 있는 K-COPI (Korea Military Academy-Computerized Oral Proficiency Interview)는 생도들의 일반 영어 회화 교육 및 평가를 위해서 수년간 사용되어 왔기 때문에 본 연구를 진행함에 있어 여러가지 실용적이고 기술적인 정보를 제공하리라 기대된다.

다. 평가 실시
평가 지침서 개발, 예비검사를 포함한 평가 도구 개발이 종료되면 사관생도 및 장교 250명을 대상으로 군사영어 말하기 평가를 실시한다. 응시자 선발에 있어 중요한 요소는 가급적 타기관 공인 영어 점수 보유자를 확보하여 (TEPS, TOEFL 등) 차후 군사영어 말하기 평가 결과 분석에 이를 활용할 수 있어야 한다는 점이다. 평가 실시에 있어 가장 중요한 요소 중 하나는 바로 채점자 훈련과 채점자 신뢰도 구축이라고 할 수 있다. 본 평가에 참여하게 될 채점자는 모 사관학교 영어과 원어민 교수 3명과 내국인 교수 5명, 영어 조교 10 명 등 총 18명이며, 이들 모두 사관생도들을 대상으로 한 K-COPI 일반 영어 회화 시험 채점 유경험자들이다. 비록 일반영어 시험 경험이 있다고는 하나 문항의 성격과 평가의 목적이 다른 군사영어 말하기 평가를 채점하기에 앞서 채점자 훈련은 필수적이다. 본 연구를 위해서 약 2주간에 걸쳐 군사영어 말하기 평가 채점자 세미나를 실시하여, 적정 수준의 채점자내/채점자간 신뢰도를 확보하고자 하며, 세미나 방법은 ACTFL OPI rater 훈련을 모델로 삼는다.

다. 평가 결과 해석
평가 및 채점이 종료된 후, 연구자는 본 평가를 통해 확보된 군사영어 K-COPI 점수와, 면대면 인터뷰 점수 및 응시자가 보유하고 있는 기존의 공인 영어 점수를 비교, 상관관계를 분석한다. 또한 각 응시자의 각종 변수를 독립변수로 (나이, 성별, 군사교육 수준, 군사영어 교육 정도, 일반영어성적 등), 군사영어 K-COPI 성적을 종속변수로 회귀 분석 및 구조방정식 모형 적용하여 응시자의 군사영어 말하기 능력을 예측하는 모델을 제시하도록 한다. 만일 군사영어 말하기 평가 점수와 일반영어 말하기 점수와 차이를 보인다면 그 차이가 과연 어떤 변수들에서 기인하며 해당 변수들의 상대적 중요성은 어느 정도인지를 해석함으로써 특수목적을 위한 말하기 평가 연구 목적을 달성하고자 한다.