Exploring the Alignment of the Brown Cloze Test and LexTALE with the CEFR = Brown Cloze Test와 LexTALE의 CEFR 정렬성 탐색 연구

국문 초록 (Abstract)

본 연구는 SLA 연구에서 널리 사용되는 L2 숙련도 측정 도구인 BCT80과 LexTALE이 한국인 영어 학습자를 대상으로 CEFR 숙련도 수준과 타당하게 정렬될 수 있는지를 조사하였다. 본 연구의 목적은 이러한 측정 도구가 SLA 연구 전반에서 일관되게 해석 및 활용될 수 있도록 CEFR 정렬성을 확립하는 데 있다. L2 숙련도는 학습자의 수행에 직접적인 영향을 미치기 때문에 연구 간 비교 가능성을 확보하기 위해서는 명확하게 보고되고 측정될 필요가 있다. L2 숙련도 측정을 위한 가장 널리 사용되는 기준 중 하나는 CEFR이다. CEFR은 국제적인 틀로써, L2 숙련도를 여섯 단계(A1–C2)로 정의하며 언어 학습, 교육, 평가에서 공통 기준을 제공한다. 표준화 시험은 CEFR과 공식적으로 정렬되어 있을 뿐 아니라 신뢰도와 타당도가 확립되어 있어, SLA 연구에서 L2 숙련도 측정에 널리 활용되고 있다. 그러나 표준화 시험은 비용과 시간이 많이 소요되어 실제 연구에서 실용성이 낮다는 한계가 있다. 이러한 이유로 BCT80과 LexTALE 같은 실용성 높은 대안적 도구들이 많이 사용되고 있다. 하지만 이러한 도구들은 CEFR과 정렬하려는 실증적 연구가 부족하여, 연구자들은 종종 서로 다른 기준 또는 자의적인 컷 점수에 의존해왔다. 실제로 BCT80과 LexTALE의 해석 및 활용 과정에서의 불확실성을 줄이려는 시도는 있었지만, 기존 연구에는 몇 가지 한계가 있다. BCT80의 경우 Brown 과 Grüter (2022)가 제시한 백분위 규준은 학습자의 실제 숙련도 수준을 보여주지 못하며, 어떤 백분위를 사용해야 하는지 합의가 없다. LexTALE의 경우 Lemhöfer 와 Broersma (2012)가 제안한 CEFR 정렬 컷 점수는 네덜란드어 화자만을 기반으로 하였고, 한국어 화자에게는 유의하게 적용되지는 않았다. 이러한 이유로, 본 연구는 한국인 영어 학습자를 대상으로 BCT80과 LexTALE이 CEFR 수준과 정렬될 수 있는지를 검토한다. 이를 위해 본 연구는 점수 해석과 사용을 체계적으로 평가할 수 있는 Kane(2013)의 논변 기반 타당화 틀을 채택하였다. 본 연구에는 총 200명이 참여하였다. 모든 참가자는 한국어 모어 화자이며, 만 18세 이상이고 최근 1년 이내에 표준화 영어 시험(TOEIC, TOEFL iBT, IELTS)을 응시하였다. 이 표준화 시험 점수는 각 참가자를 CEFR 듣기 및 읽기 수준에 분류하기 위한 외부 준거로 사용되었다. 본 연구에는 BCT80, LexTALE, 언어 배경 설문이 포함되었다. BCT80에서는 50개의 빈칸을 채우도록 하였고, LexTALE에서는 주어진 항목이 실제 영어 단어인지 여부를 판단하도록 하였다. 언어 배경 설문에서는 참여자의 나이, 성별, 영어 습득 시기와 같은 정보들을 수집하였다. 모든 절차는 온라인으로 실시되었다. 자료 분석은 Kane(2013)의 타당화 추론 단계를 따랐다. 채점 추론에서는 신뢰도와 문항 통계를 검토하여 두 도구의 점수가 신뢰롭고 변별력 있는지를 확인하였다. 외삽 추론에서는 집단 간 차이 분석과 순서형 로지스틱 회귀를 통해 BCT80과 LexTALE이 CEFR 수준을 변별하고 예측할 수 있는지를 분석하였다. 마지막으로 결정 추론에서는 회귀 임계값을 활용해 CEFR 정렬 컷 점수를 산출하고 분류 성능을 평가하였다. 본 연구의 주요 결과 중 하나는 BCT80의 경우 EX(정확한 답만 인정)와 AC(적절한 답도 인정) 두 채점 방식 모두 표준화 시험을 기반으로 한 CEFR 듣기 및 읽기 수준과 타당하게 정렬될 수 있었다는 점이다. 특히 AC 채점 방식은 EX 방식보다 더 높은 신뢰도, 균형 잡힌 문항 난이도, 더 강한 변별력을 보였다. 또한 AC 채점 방식에서 산출된 컷 점수는 더 높은 분류 정확도와 더 적은 오분류를 보였다. 이와 더불어, 흥미롭게도 BCT80은 읽기보다 듣기 수준과 더 밀접하게 정렬되었다. 반면, LexTALE은 C1 수준 학습자를 식별하는 데 효과적이었으며, B1과 B2 학습자의 구분은 명확하지 않았다. LexTALE은 신뢰도는 수용 가능한 수준을 보였으나, 많은 문항이 지나치게 쉬워 학습자 변별에 한계가 있었다. 통계 분석 결과, LexTALE은 CEFR 수준을 예측할 수 있었으나, CEFR 정렬 컷 점수는 C1을 구분할 때에만 안정적이었다. 종합하면, BCT80은 두 채점 방식 모두에서 CEFR 정렬에 적합하며 특히 AC 채점 방식이 더 우수한 반면, LexTALE은 단독 도구로서 CEFR 수준 분류에는 제한이 있음을 밝혔다.

다국어 초록 (Multilingual Abstract)

This study examines whether the Brown cloze test (BCT80) and LexTALE, which are widely used as L2 proficiency measures, can be validly aligned with the CEFR proficiency levels for L1 Korean learners of English. The study aims to establish CEFR-alignment of these measures so that their scores can be interpreted and used in consistent way across SLA studies. L2 proficiency directly affects learners’ performance, so it needs to be reported and measured clearly to ensure comparability across studies. One of the most widely used reference standards for L2 proficiency is the CEFR. The CEFR is a widely used international framework that defines L2 proficiency across six levels (A1–C2) and provides a common reference for language learning, teaching, and assessment. Many SLA studies rely on standardized proficiency tests to measure and report L2 proficiency since they are officially aligned with CEFR levels and have well-established reliability and validity. However, the CEFR-aligned standardized tests are expensive and time-consuming, which limits their practicality for many SLA studies. For this reason, many researchers use alternatives such as the BCT80 and LexTALE, which are highly practical. However, because empirical research aligning these measures with the CEFR is limited, researchers have often relied on different criteria or arbitrary cut scores when using the measures in their research. Indeed, there have been some attempts to reduce the uncertainty in how the BCT80 and LexTALE are interpreted and used, but these studies still have several limitations. For the BCT80, the percentile norms proposed by Brown and Grüter (2022) do not reveal learners’ actual proficiency levels, and there is no agreement on which percentiles should be used. For LexTALE, the CEFR-aligned cut scores suggested by Lemhöfer and Broersma (2012) were based on the L1 Dutch group, and these cut scores do not work validly for the L1 Korean group. For this reason, the present study examines whether the BCT80 and LexTALE can be aligned with CEFR levels for L1 Korean learners of English. To support this examination, the study adopts Kane’s (2013) argument-based validation framework, which provides a systematic basis for evaluating score interpretation and use. A total of 200 participants took part in the present study. All participants were native speakers of Korean, were at least 18 years old, and had taken a standardized proficiency test (TOEIC, TOEFL iBT, or IELTS) within the past year. These standardized test scores were used as an external reference to classify each participant into CEFR listening and reading levels. The study included three tasks: the BCT80, LexTALE, and a language background questionnaire. In the BCT80, participants filled in 50 blanks, and in LexTALE, they judged whether items were real English words or not. The language background questionnaire asked for their basic demographic information and language learning experiences. All procedures were administered online. The data analysis followed the inferential stages of Kane’s (2013) framework. For the scoring inference, the study checked reliability and item statistics to see whether the tests provided reliable and discriminative scores. For the extrapolation inference, group difference analyses and ordinal logistic regression were conducted to examine whether the BCT80 and LexTALE could differentiate and predict CEFR levels. Finally, for the decision inference, CEFR-aligned cut scores were calculated using the regression thresholds, and the classification results of these cut scores were evaluated. One of the main findings of this study is that, for the BCT80, both EX and AC scoring methods can be validly aligned with the reference CEFR listening and reading levels derived from the standardized tests. Specifically, AC scoring performed better than EX scoring because it showed higher reliability, more balanced item difficulty, and stronger discrimination. Also, the CEFR-aligned cut scores of AC scoring produced more accurate CEFR level classification with fewer misclassifications. Interestingly, the BCT80 aligned more closely with CEFR listening levels than reading levels. In contrast, LexTALE was effective only for identifying learners at C1 level. It did not clearly separate B1 and B2 learners. Even though LexTALE showed acceptable reliability, many items were too easy to distinguish learners effectively. The statistical analyses showed that LexTALE can predict CEFR levels, but the CEFR-aligned cut scores were stable only for C1 level. Overall, the BCT80 is suitable for CEFR-alignment under both scoring methods, especially AC scoring, whereas LexTALE showed limited suitability as a stand-alone measure for CEFR level classification.

목차 (Table of Contents)

• ABSTRACT ⅰ
• TABLE OF CONTENTS ⅳ
• LIST OF TABLES ⅶ
• LIST OF FIGURES ⅹ
• CHAPTER 1. INTRODUCTION 1
• 1.1 Background and Purpose of the Study 1
• 1.2 Research Questions 5
• 1.3 Organization of the Thesis 5
• CHAPTER 2. LITERATURE REVIEW 7
• 2.1 L2 Proficiency as a Key Variable in SLA 7
• 2.2 Measurement and Reporting of L2 Proficiency 9
• 2.2.1 CEFR 9
• 2.2.2 Standardized Proficiency Tests 13
• 2.2.2.1 TOEIC 14
• 2.2.2.2 TOEFL iBT 15
• 2.2.2.3 IELTS 16
• 2.2.2.4 The Limitations of Standardized Proficiency Tests 18
• 2.3 Alternatives to Standardized Proficiency Tests 19
• 2.3.1 Alternative L2 Proficiency Measures in SLA 19
• 2.3.2 The BCT80 22
• 2.3.2.1 The BCT80 as an L2 Proficiency Measure 22
• 2.3.2.2 Challenges in Interpreting and Using the BCT80 Scores 26
• 2.3.3 LexTALE 28
• 2.3.3.1 LexTALE as an L2 Proficiency Measure 28
• 2.3.3.2 Challenges in Interpreting and Using LexTALE Scores 30
• 2.3.4 Previous Attempts to Establish Valid Interpretation and Use 32
• 2.4 Validation Approach 34
• 2.4.1 Overview of Validation Approaches 35
• 2.4.2 Kane’s Argument-Based Validation Framework 37
• 2.5 The Present Study 39
• CHAPTER 3. METHODOLOGY 43
• 3.1 Participants 43
• 3.2 Tasks 45
• 3.2.1 The BCT80 45
• 3.2.2 LexTALE 47
• 3.2.3 Language Background Questionnaire 49
• 3.3 Procedure 50
• 3.4 Data Analysis 51
• CHAPTER 4. RESULTS 55
• 4.1 Results of Research Question 1 55
• 4.1.1 Descriptive Statistics 56
• 4.1.2 Reliability and Item Analyses of the BCT80 57
• 4.1.3 Reliability and Item Analyses of LexTALE 58
• 4.2 Results of Research Question 2 59
• 4.2.1 Classification into Reference CEFR Levels 60
• 4.2.2 Descriptive Statistics by CEFR Levels 62
• 4.2.3 Inferential Analyses Across CEFR Levels 64
• 4.2.3.1 Tests of Normality and Homogeneity of Variance 64
• 4.2.3.2 Group Comparison for the BCT80 (EX) 65
• 4.2.3.3 Group Comparison for the BCT80 (AC) 67
• 4.2.3.4 Group Comparison for LexTALE 69
• 4.3 Results of Research Question 3 71
• 4.3.1 Spearman Correlation Analysis 71
• 4.3.2 Ordinal Logistic Regression Model for the BCT80 (EX) 72
• 4.3.3 Ordinal Logistic Regression Model for the BCT80 (AC) 75
• 4.3.4 Ordinal Logistic Regression Model for LexTALE 77
• 4.4 Results of Research Question 4 79
• 4.4.1 CEFR-aligned Cut Scores and Classification Performance of the BCT80 (EX) 79
• 4.4.2 CEFR-aligned Cut Scores and Classification Performance of the BCT80 (AC) 86
• 4.4.3 CEFR-aligned Cut Scores and Classification Performance of LexTALE 91
• CHAPTER 5. DISCUSSION 97
• 5.1 Validity Argument for the BCT80 (EX and AC) 97
• 5.1.1 Evaluating the IUA for the BCT80 (EX and AC) 97
• 5.1.2 Summary and Interpretation of Findings 101
• 5.2 Validity Argument for LexTALE 104
• 5.2.1 Evaluating the IUA for LexTALE 104
• 5.2.2 Summary and Interpretation of Findings 108
• CHAPTER 6. CONCLUSION 110
• 6.1 Major Findings and Implications 110
• 6.2 Limitations and Suggestions 113
• REFERENCES 115
• APPENDICES 124
• 국문초록 142