The Effects of Text Length on EFL Learners' Reading Comprehension of Fill-in-the-blank Texts in KCSAT = 지문의 길이에 따른 영어학습자들의 수능 빈칸추론 지문 독해 양상 연구

국문 초록 (Abstract)

독해에 관한 이론적, 경험적 배경에 의거하여 담화 이해 연구자들은 최근 독서 능력을 평가하는 표준화시험의 구인타당도에 대한 논의를 이어왔다 (Collins, Compton, Lindström, & Gilbert, 2020; Cutting & Scarborough, 2006). 독해는 독자와 텍스트 사이 역동적인 상호작용의 산물로서, 텍스트 내 변수는 독해에 있어 큰 영향을 끼친다 (Francis, Fletcher, Catts, & Tomblin, 2005). 담화 이해 과정을 분석한 주요 이론적 모델인 구성-통합 모형에 의하면 독자는 텍스트를 이해할 때 세 층위의 정신 표상 (표면 형태, 텍스트 모형, 상황 모형)을 구성하게 되는데 (Kintsch, 1988, 1998), 통제되지 않은 텍스트 내 변수는 독자가 이러한 정신 표상을 형성하는 방식에 예기치 못한 중대한 영향을 끼칠 수 있다.
따라서, 본 연구의 목적은 텍스트 길이를 중심으로 텍스트가 독해 평가에 미치는 영향에 대해 살펴보고자 하였으며, 이를 위해 상위 한국인 EFL 학습자에 초점을 맞추어 지문의 길이가 수능 영어 지문에 대한 독자의 이해력에 끼치는 영향을 상세히 분석해 보고자 한다. 짧은 지문과 긴 지문을 읽은 독자의 객관식 독해문항에 대한 수행능력과 지문에 대한 텍스트 모형 및 상황 모형을 비교 분석하고, 이를 통해 학습자들의 영어 읽기 수행에 있어 텍스트 특성의 중요성을 재고해 보고자 한다.
본 연구에 총 54명의 영어를 외국어로 학습하는 한국인 대학생 상급 독자들이 참여하였으며 절반의 참여자는 짧은 지문만 읽는 조건에, 나머지 절반은 긴 지문만 읽는 조건에 무작위로 배정되었다. 총 3개의 짧은 지문은 수능 영어 영역에 사용된 대로 긴 원문에서 발췌한 상태로 제공되었으며, 긴 지문은 각 짧은 지문이 발췌된 원문을 참고하여 맥락적 단서를 향상시킬 수 있는 한 개 혹은 두 개의 단락을 추가한 상태로 제공되었다. 지문이해도를 측정하기 위해 연구참여자는 각 지문마다 한 개의 객관식 빈칸추론 문항을 답하고, 추가로 자유회상 과업을 실시하도록 지시받았다. 과업을 통해 수집된 데이터에 대해 일련의 독립 표본 t-검정 혹은 이원분산분석을 실시하였으며, 이를 통해 지문의 길이에 따른 두 집단 간 객관식 문항 정답률과 텍스트 모형 및 상황 모형 형성에 대한 차이를 조사하였다.
연구 결과에 의하면 상급 한국 EFL 학생들은 긴 지문을 읽었을 때 객관식 문항에 대한 수행 능력이 통계적으로 유의미하게 향상되었다. 텍스트 모형의 경우, 긴 지문을 읽은 독자들이 지문의 내용을 유의미하게 더 많이 기억하였으며, 특히 텍스트의 전체적인 요지로 규정되는 의미적 거시 명제 (semantic macro-proposition)에 대한 회상이 가장 유의미하게 향상되었다. 상황 모형의 경우, 긴 지문보다 짧은 지문에서 학생들은 부정확한 추론을 유의미하게 더 많이 생성하였다. 그러나 이러한 추론생성 과정에서 드러난 두 집단 간 상황 모형의 차이를 기존 객관식 문항은 충분히 측정하지 못하는 것으로 발견되었다.
주요 결과에 의하면, 지문의 길이는 상위 독자들의 글에 대한 응집성 있는 정신표상의 형성(coherent mental representation of a text)에 상당한 영향을 끼치는 것으로 드러났다. 이러한 결과는 독해 평가에 대한 함의를 제공한다. 학생들의 독해능력을 보다 정확하게 측정하기 위해서 지문은 충분한 정보의 양을 제공해야 하며, 특정 문제 유형의 경우 독자의 상황 모형에 대한 정확한 측정을 제공하지 못할 수 있다는 점을 재고해보아야 한다고 제안하고 있다.

다국어 초록 (Multilingual Abstract)

Armed with theoretical and empirical tools of text comprehension, discourse researchers in recent years have challenged the construct validity of standardized reading assessment (Collins, Compton, Lindström, & Gilbert, 2020; Cutting & Scarborough, 2006). As a product of reader-text interaction, reading comprehension is critically affected by the variability in texts (Francis, Fletcher, Catts, & Tomblin, 2005). Left unattended, text variability is capable of introducing an unforeseen yet critical variance to how readers process three levels of understanding in reading comprehension: surface form, textbase, and situation model.
The present study attempts to examine the contribution of text, focusing on text length, to reading comprehension assessment. More specifically, the current study focuses on the effects of text length on highly advanced English as a foreign language (EFL) readers’ text comprehension of English texts from the Korean College Scholastic Ability Test (KCSAT). Exploring short text and long text readers’ performance on multiple-choice questions and their construction of textbase and situation model will shed light on the importance of textual factors affecting the variance in students’ reading performance.
A total of 54 Korean EFL readers of highly advanced proficiency participated in the current study, half of whom were randomly distributed either to the Short Text (ST) or Long Text (LT) condition. Short versions refer to passages as used in the KCSAT. Longer versions were constructed by referring to the primary sources from which KCSAT passages were taken and adding one or two paragraphs that can enhance contextual clues. For each passage, participants completed one fill-in-the-blank multiple-choice question taken directly from the KCSAT and produced a free written recall. The collected data were then entered into a series of independent samples t-tests or a two-way repeated measure analysis of variance (ANOVA) to examine the differences in the correct rate of answers to multiple-choice questions and in textbase and situation model understanding as a function of text length (short, long).
The results showed that advanced Korean EFL readers performed significantly better on multiple-choice questions when provided with longer versions. Moreover, the LT group retained more textual content in memory, and they excelled in recalling the most superordinate idea units of texts, indicating their superiority in textbase understanding. In addition, the LT group made a significantly fewer number of inaccurate inferences. They rarely misinterpreted the gist of a text, signifying that they generated a more accurate situation model than the ST group.
The findings as a whole demonstrate that text length had a critical impact on whether readers can form a coherent understanding of a text. Such findings raise a question about the validity of current test items of the KCSAT English and suggest that the sole administration of multiple-choice questions may not be fully sensitive in measuring the quality of the reader’s situation model of a text.

목차 (Table of Contents)

• ABSTRACT i
• TABLE OF CONTENTS iv
• LIST OF TABLES viii
• LIST OF FIGURES x
• CHAPTER 1. INTRODUCTION 1
• 1.1 The Background of the Study 1
• 1.2 The Purpose of the Study 4
• 1.3 Research Questions 10
• 1.4 Organization of the Thesis 11
• CHAPTER 2. LITERATURE REVIEW 12
• 2.1 Reading Comprehension: Surface Form, Textbase, and Situation Model 12
• 2.2 Inferences 17
• 2.3 Contextual Prerequisites 21
• 2.4 Reading Assessment: Text Length 22
• 2.5 Reading Assessment: Item Formats 27
• 2.5.1 Multiple-choice Questions 29
• 2.5.2 Recall Protocol 32
• 2.6 Limitations of Previous Research 36
• CHAPTER 3. METHODOLOGY 40
• 3.1 Participants 40
• 3.2 Instruments 42
• 3.2.1 Selection of the Source Texts 42
• 3.2.3 Modification of the Source Texts 45
• 3.2.3 Reading Comprehension Measures 48
• 3.3 Procedures 49
• 3.4 Data Analysis 52
• 3.4.1 Textbase Model 53
• 3.4.1.1 Propositional Analysis 53
• 3.4.1.2 Coherence Graph 57
• 3.4.1.3 Scoring Protocol for Textbase Model 66
• 3.4.2 Situation Model 68
• 3.4.2.1 Scoring Protocol for Situation Model 71
• 3.4.3 Statistical Analysis 72
• CHAPTER 4. RESULTS 74
• 4.1 Performance of Fill-in-the-blank Multiple-choice Questions 75
• 4.2 Textbase Understanding 77
• 4.2.1 Quantity of Textbase Understanding: Total Number of Proposition Recall 77
• 4.2.2 Quality of Textbase Understanding: Probability of Recalling Propositions at Each Hierarchical Level 79
• 4.3 Situation Model 84
• 4.3.1 Richness of Situation Model: Total Number of Inferences 84
• 4.3.2 Lack of Clarity of Situation Model: Probability of Making Incorrect Inferences 86
• 4.3.3 Lack of Clarity for Each Passage 87
• 4.4 Lack of Clarity for Short and Long Text Readers Successful in Multiple-Choice Question: 91
• 4.4.1 Results for Lack of Clarity for Short and Long Text Readers Successful in MCQ: Rare Metal Passage 92
• 4.4.2 Results for Lack of Clarity for Short and Long Text Readers Successful in MCQ: Temporal Resolution Passage 93
• 4.4.3 Results for Lack of Clarity for Short and Long Text Readers Successful in MCQ: Whitman Passage 97
• 4.5 Qualitative Analysis of the Data 99
• 4.5.1 Short Text Group: Inaccurate Inferences of Macrostructure of Texts 101
• 4.5.2 Long Text Group: Inaccurate Inferences of Microstructure of Texts 107
• CHAPTER 5. DISCUSSION 111
• 5.1 Effects of Text Length on Performance of Fill-in-the-blank Multiple-choice Questions 111
• 5.2 Effects of Text Length on Textbase Understanding: Reproductive Recall 113
• 5.3 Effects of Text Length on Situation Model: Inferences 118
• 5.4 Lack of Clarity of Participants Who Correctly Answered Multiple-choice Questions 121
• CHAPTER 6. CONCLUSION 124
• 6.1 Major Findings 124
• 6.2 Implications for Assessment 127
• 6.3 Limitations and Suggestions for Future Research 130
• REFERENCES 133
• APPENDICES 150
• ABSTRACT IN KOREAN 167