Tracking the Test-Taking Strategy Use of Korean EFL High School Students in Processing the Gap-Filling Inference Items of CSAT = 한국 고등학생의 대학수학능력시험 빈칸추론 문항 시험전략 사용 양상 추적

다국어 초록 (Multilingual Abstract)

The demand for test-taking has become an integral part of the academic experience for Korean secondary EFL learners, who aim to excel in a highly competitive, exam-oriented environment. At the center of high-stakes exams lies the College Scholastic Ability Test (CSAT). Gap-filling inference items in the CSAT English section have historically been the most difficult and discriminatory, posing significant challenges for test-takers. However, these gap-filling inference items have faced many criticisms for being susceptible to test-wiseness—the ability of test-takers to use cues independently of the knowledge or skills being assessed. Many practitioners, including teachers and administrators, question whether such items are sufficient for determining the anticipated test-taking process, which involves drawing logical inferences based on contextual understanding. The purpose of the present study is to examine the test-taking strategies used by test-takers while processing these gap-filling inference items. Additionally, the study will discuss whether these test-taking processes align with the assessment's goals, to determine if these items can legitimately claim cognitive validity—defined as the extent to which a test accurately engages the theoretical cognitive processes necessary to complete the task as designed.
The present study explored 20 Korean high school senior EFL test-takers’ test-taking processes for six gap-filling inference items of CSAT English section, inferencing tasks that require test-takers to draw on relevant textual information to infer missing information, ensuring a coherent understanding of the text as a whole. The process of test performance was tracked via web-based eye-tracking measures and posterior stimulated recall interviews were conducted to verify the types of test-taking strategies involved and describe how they used them and why. Based on the predesigned coding scheme, which was later revised and refined through analysis of the transcribed interview data, the frequency of each test-taking strategy was recorded and visualized in 9-Quadrant Matrix, with the horizontal axis representing construct-inappropriate strategies (IA) and the vertical axis representing construct appropriate strategies (A), illustrating the interplay between the two types of strategies across test-taking instances.
Among the 9 possible cases, three scenarios that challenge the validity of gap-filling inference items were identified. Case 1 (High IA x Medium A) represents overuse of IA, involving successful instances where test-takers relied heavily on IA despite limited use of A. Case 2 (Medium A x Low IA) represents underuse of IA, revealing that insufficient use of IA led to failure. Case 3 (High A x High IA) highlights unnecessary use of IA, signaling successful instances where test-takers with High A, who should theoretically not depend on IA, still relied on it to answer correctly. These cases were investigated by utilizing verbal reports from stimulated recall interviews and visualized eye-tracking data, such as gaze plots and heatmaps.
The findings reveal that each scenario, overuse, underuse, or retreating use of IA, undermine the cognitive validity of these items. Case 1 participants relied heavily on IA by bringing in preconceptions as to where the sentence containing the test-wise cues typically lie, which acted as shortcuts to locate stem-specific or central information, after which they specifically adhered to the content of those sentences to match the option. Case 2 participants employed IA by activating prior knowledge to compensate for their lack of higher-order strategies, particularly when text cohesion was insufficient or inference using the implicit contextual coherence was required. Case 3 participants relied on IA by combining preconceived test-wise cues and prior knowledge to either guide their approach or compensate for their inability to make precise text-based inferences. In all cases, the test-taking processes raised concerns about cognitive validity. Overuse of unrequired skills led to item success, underuse resulted in failure, and the assessment of constructs independently of test-wiseness proved unfeasible.
The findings emphasize the need for pedagogical approaches that address the overreliance on IA strategies. Educators should focus on fostering higher-order reading skills, such as contextual understanding and text-based inferencing, to reduce dependence on construct-inappropriate strategies and enhance the cognitive validity of gap-filling inference items.

국문 초록 (Abstract)

한국의 중등 EFL 학습자들은 치열한 경쟁 속에서 뛰어난 학업적 성과를 거두기 위해 끊임없이 시험에 대비하는 시험 중심적 환경에 처해 있다. 특히, 수능 영어 영역의 문항 중에서 주어진 텍스트의 대의적 함의와 일관된 이해를 통해 누락된 정보를 추론하도록 하는 독해 문항인 빈칸추론은 가장 어렵고 변별력이 높은 유형으로 알려져 있다. 그러나, 빈칸추론 문항은 수험생이 시험 응시자가 자신의 지식이나 능력과 관계없이 단서를 활용하는 ‘시험 요령(test-wiseness)’에 취약하다는 비판을 받아왔다. 이에 대해 교육 전문가들, 특히 교사와 현장 전문가들은 빈칸 추론 문제가 실제로 시험 응시자가 문맥적 이해를 바탕으로 합리적인 추론을 도출할 수 있는 능력을 평가하는 데 충분한지에 대해 의문을 제기한다. 본 연구는 수험자가 빈칸 추론 문항을 처리하는 과정에서 사용하는 시험 전략, 즉 인지적 과정을 추적하고, 이러한 전략이 평가의 목표와 얼마나 일치하는지 분석하여 빈칸 추론 문항의 인지적 타당성(cognitive validity)에 대한 시사점을 제시하는 것을 목적으로 한다. 인지적 타당성이란 시험이 설계된 대로 과제를 완수하기 위해 요구되는 이론적 인지 과정을 얼마나 정확히 반영하는지를 의미한다.
본 연구는 20명의 고등학교 3학년 EFL 학습자들을 대상으로 빈칸 추론 문항 6개에 대한 시험 과정을 분석하였다. 웹캠 기반 웹 시선 추적 기법을 활용하여 수험자의 시선 경로를 기록하였으며, 이후 자극 회상 인터뷰(stimulated recall interviews)를 통해 수험자가 사용한 시험 전략의 유형, 사용 방식, 그리고 활용 이유를 구체적으로 확인하였다. 시험 전략의 종류와 사용 양상은 시험 전략 관련 선행 연구의 분류 체계를 바탕으로 코딩표를 구축하여 빈도와 패턴을 분석하였으며, 이를 9분할 행렬로 시각화하였다. 행렬의 가로축은 구성 부적합(construct-inappropriate) 전략을, 세로축은 구성 적합(construct-appropriate) 전략을 나타내어 두 전략 간 상호작용을 시각적으로 제시하였다. 행렬 가운데 시험 타당도를 낮추는 3개의 결합을 찾아내, 해당 사례들의 공통성을 추려 해당 집단의 시험 응시 방법을 분석하였다.
빈칸 추론 항목의 시험 타당도를 저해하는 세 가지 사례는 다음과 같다. 사례 1은 높은 수준의 구성 부적합 전략과 중간수준의 구성 적합 전략을 사용하여 문항을 맞춘 경우, 사례 2는 중간수준의 구성 적합 전략과 낮은 수준의 구성 부적합 전략을 사용하여 문항을 틀린 경우, 사례 3은 높은 수준의 구성 부적합 전략과 구성 적합 전략을 사용하여 문항을 맞춘 경우를 나타낸다. 사례 1의 경우 구성 부적합 전략에 의존하여 문항을 맞췄으며, 사례 2는 구성 적합한 전략에 의존하였지만 문항을 틀렸고, 사례 3은 충분한 구성 적합 전략을 활용할 수 있음에도 구성 부적합 전략을 사용하여 문항을 맞췄다는 측면에서 시험 타당도를 저해하고 있다.
회상 인터뷰를 통해 수집된 언어 보고와 시선 추적 데이터를 바탕으로, 수험자들이 구성 적합 및 구성 부적합 전략을 활용하여 빈칸 추론 문항을 처리하는 방식을 심층적으로 분석하였으며, 각각의 사례가 문항의 인지적 타당성을 어떻게 저해하는지 논의한다. 본 연구는 시험 요령에 대한 과도한 의존을 줄이고, 수험자가 문맥적 이해와 텍스트 기반 추론과 같은 고차원적인 읽기 능력을 강화할 필요성을 강조한다. 나아가, 교사들로 하여금 수험자들이 구성 부적합 전략에 의존하지 않고도 성공적으로 문제를 해결할 수 있도록 지도해야 한다는 교육적 함의를 제시한다.

목차 (Table of Contents)

• Abstracts i
• Table of Contents iv
• List of Tables vii
• List of Figures viii
• Chapter 1. Introduction 1
• 1.1. Background of the Study 1
• 1.2. Purpose of the Study 3
• 1.3. Organization of the Study 4
• Chapter 2. Literature Reviews 5
• 2.1. Test-taking Strategy in Reading Assessment 5
• 2.2. Test Validity in Reading Assessment 10
• 2.3. Eye-tracking Technology in Reading Assessment 12
• 2.4. Gap-filling Infernce Items of CSAT 15
• Chapter 3. Methods 19
• 3.1. Participatns 19
• 3.2. Test Items 20
• 3.3. Data Collection 23
• 3.3.1.Webcam-based Eye-tracking 23
• 3.3.2. Stimulated Recall Interviews 23
• 3.3.3. Procedure 24
• 3.4. Data Analysis 26
• 3.4.1. Development of Coding Schemes 26
• 3.4.2. Qualitative Analysis 34
• Chapter 4. Results and Discussions 38
• 4.1. Case 1 (High IA x Medium A): The Overuse of IA 38
• 4.1.1. Case 1-1: Leveraging Location of the cues within the Text 39
• 4.1.2. Case 1-2: Employing Shortcuts to Find Central Information in the Text 50
• 4.2. Case 2 (Low IA x Medium A): The Underuse of IA 57
• 4.2.1. Case 2-1: Texts Lacking Noting Surface Cohesion 59
• 4.2.2. Case 2-2: Inability to Capture Context Coherence 67
• 4.3. Case 3 (High IA x High A): The Retreating Use of IA 77
• 4.3.1. Case 3-1: Compensatory Role of IA 78
• 4.3.2 Case 3-2: Guiding Role of IA 87
• Chapter 5. Conclusion 94
• 5.1. Summary of the Major Findings 94
• 5.2. Implication of the Findings 95
• 5.3 Limitation and Suggestion for Future Research 99
• References. 101
• Appendix 106
• 국 문 초 록 109