CEFR 기반 진단평가의 교수설계 활용 방안에 대한 연구 = A Study on the Use of CEFR-based Diagnostic Assessment in Instructional Design

국문 초록 (Abstract)

본 연구는 CEFR 기반 진단평가를 활용하여 학습자 영어사용 능숙도를 구분하고, 시험의 세부 영역의 난이도와 변별도를 분석하여 학습자 수준에 맞는 교수설계 방향 제시를 목적으로 하였다. 부산 소재 4년제 대학의 필수 교양영어를 수강하고 있는 학생 중 67명의 시험 결과를 이용했다. 시험 결과에 따라 A2 레벨 6명, B0 레벨 29명, B1 레벨 14명, B2 레벨 18명으로 분류하였다. 분석 결과, 세부 정보를 파악하는 능력을 요구하는 듣기 Part 1의 영역 난이도는 .41, 변별도는 .64로 B0 만점자 비율이 14%로 매우 낮아 B0 학생들에게 세부 정보 파악을 위해 연속된 음성 속에서 단어를 식별하는 능력 향상을 위한 교수설계가 필요함을 알 수 있었다. 읽기 세부 영역 난이도는 전반적으로 듣기 세부 영역보다 낮았으며, 읽기 영역 변별도가 .09로 가장 낮았던 Part 2의 상위권 B2 만점자 비율이 33%로 매우 낮아 B2 학생들에게도 실제적인 읽기 자료 기반 읽기 교수가 필요함을 알 수 있었다. 읽기 영역 난이도가 .16이었던 읽기 Part 5는 문맥 속에 어울리는 어휘를 선택하는 문제 유형으로 만점자 비율이 16%밖에 되지 않아서 학생들에게 단어장이 아닌 문맥 속에서 단어를 학습하도록 하는 교수설계가 필요함을 드러내었다. 문법의 정확성을 평가하는 쓰기 Part 1의 B2 만점자 비율은 78%로 매우 높았지만, B1, B0 만점자 비율은 36%, 31%로 낮아서 B1, B0 레벨 학생을 위한 문법 교육이 강화되어야 함을 알 수 있다. 이상의 듣기 Part 1, 읽기 Part 2와 5, 쓰기 Part 1 영역의 보정 교수설계를 위해서 유튜브 영상 및 스크립트에 기반한 TubeQuizard 활용을 제안한다. TubeQuizard는 CEFR 레벨별 듣기와 읽기(발음, 어휘, 문법) 기술을 유튜브 영상 속 실제 영어 원어민의 언어 사용 및 맥락을 통해 학습할 수 있다는 장점이 있다. 이외에도 영어 학습자 코퍼스 분석에 기반한 다양한 CEFR 관련 자료를 활용하면 학습자에게 필요한 교수설계에 큰 도움이 될 것이다.

다국어 초록 (Multilingual Abstract)

The aim of this study was to classify learners' proficiency in English using a CEFR-based diagnostic assessment and to provide directions for future instructional design by analyzing the difficulty and discrimination indices of the test's sub-sections. The test results of 67 students taking a required liberal arts English course at a four-year university in Busan were used. According to the analysis, Listening Part 1, which tested the students’ ability to identify details, had a sectional difficulty of .41 and a discrimination index of .64. The percentage of B0 students who achieved a perfect score was very low at 14%, indicating changes to the instructional design are needed to improve B0 students' ability to identify words in continuous speech. The reading section's difficulty index rating was generally lower than the listening section. In Reading Part 2, the percentage of B2 learners with a perfect score was very low at 33% indicating that B2 students should be taught reading strategies based on real-life reading materials. Reading Part 5, which had a difficulty of .16, required students to select vocabulary words in context, but only 16% of the total students achieved perfect scores. This indicates that students should be taught using an instructional design that requires them to learn words in context rather than from a vocabulary list from a book. In Writing Part 1, which assessed students’ grammatical accuracy, the percentage of B2 students who achieved a perfect score of 78% was very high, compared to the percentage of B1 and B0 students who obtained a perfect score, 36% and 31% respectively, implying that the grammar instruction for B1 and B0 students should be strengthened. Utilizing TubeQuizard, which is based on YouTube videos and scripts, is proposed to design remedial instruction for Listening Part 1, Reading Parts 2 and 5, and Writing Part 1. As a tool for remedial instructions, TubeQuizard has the advantage that CEFR level-specific listening and reading (pronunciation, vocabulary, and grammar) skills are taught through the use and context of real native English speakers in YouTube videos.

참고문헌 (Reference)

1 송민영 ; 조수근 ; 김주혜, "이러닝 영어 학습자를 위한 진단편가 개발 및 만족도 조사" 교과교육연구소 21 (21): 551-563, 2017

2 강경민, "대학영어 배치고사로서의 CEFR 기반 CELA 와 TOEIC 비교 연구" 한국영어교육학회 76 (76): 123-141, 2021

3 Cambridge University Press, "Write&Improve"

4 James Milton, "Vocabulary Studies in First and Second Language Acquisition" Palgrave Macmillan 194-211, 2009

5 Alderson, J. C., "Toward a theory of diagnosis in second and foreign language assessment : Insight from professional practice across diverse fields" 36 (36): 236-260, 2015

6 Council of Europe, "The Common European Framework of Reference for Languages: Learning, Teaching, Assessment" Cambridge University Press 2001

7 Hughes, A., "Testing for language teachers" Cambridge University Press 2003

8 Nuttall, C., "Teaching reading skills in a foreign language" Macmillan Education 2005

9 Brown, H. D., "Teaching by principles: an interactive approach to language pedagogy" Longman 2001

10 ALTE, "Multilingual glossary of language testing terms" University of Cambridge Local Examinations Syndicate and Cambridge University Press 1998

11 Alderson, J. C., "Language Test Construction and Evaluation" Cambridge University Press 1995

12 이희경, "Investigating the Applicability of the CEFR to a Placement Test for an English Language Program in Korea" 한국영어학학회 17 (17): 29-60, 2011

13 Kunnan, A. J., "Handbook of language teaching" Wiley-Blackwell 610-627, 2011

14 Cambridge University Press, "English Profile"

15 Meara, P., "EFL vocabulary tests" Centre for Applied Language Studies, University of Wales Swansea 2010

16 Alderson, J. C., "Diagnosing foreign language proficiency: The interface between learning and assessment" Continuum 2005

17 Lee, Y. -W., "Diagnosing diagnostic language assessment" 32 (32): 299-316, 2015

18 Cambridge Assessment English, "Developing listening skills for Cambridge English Qualifications: A guide for teachers. B1 Preliminary" Cambridge University Press 2021

19 Cambridge English Language Assessment, "Cambridge English Preliminary Handbook for teachers for exams from 2016" Cambridge University Press 2016

20 Uchida, S., "Assigning CEFR-J levels to English texts based on textual features" 463-467, 2018

21 Lee, W. K., "A Guide to English Language Testing" Moonjinmedia 2003