(A) Micro-analytic study of GPT-based Chatbot Feedback in L2 English Learning

다국어 초록 (Multilingual Abstract)

The rapid development of large language models (LLMs) has led to the widespread adoption of AI-based language learning applications that promote personalized speaking practice. In the Korean English as a foreign language (EFL) context, commercial GPT-based speaking chatbots are increasingly used for out of class speaking practice; however, empirical accounts of how such systems actually provide corrective feedback during interaction remain limited. This study presents a micro-analytic investigation of corrective feedback practices in a commercial GPT-based speaking chatbot, focusing on the types of feedback produced and their mediating role in learners’ second language (L2) speaking performance. Six Korean adult EFL learners engaged in seven consecutive days of interaction with the chatbot, completing daily speaking sessions that included one role-play task and one free-talking task. Interaction data were audio recorded and transcribed. To contextualize learners’ performance over time, changes in lexical diversity and syntactic complexity between Day 1 and Day 7 were examined using type-token ratio (TTR) and clauses per sentence (C/S), interpreted through an ipsative assessment perspective. Corrective feedback episodes generated by the chatbot were extracted from interaction records and coded using a six-type corrective feedback taxonomy. Selected interaction excerpts and post-use questionnaire responses were further examined through a sociocultural lens to explore how feedback functioned as mediation during speaking. The analysis revealed modest gains in lexical diversity, largely stable syntactic complexity, and substantial individual variation when performance was interpreted ipsatively. All corrective feedback instances produced by the chatbot were classified as explicit correction; no recasts, clarification requests, elicitation, metalinguistic feedback without correction, or repetition were observed. While explicit correction occasionally supported formal accuracy, feedback often failed to mediate learners’ intended meanings and, in some cases, disrupted interaction due to speech recognition errors or semantically inappropriate corrections. These findings suggest that the chatbot’s feedback practices operate primarily as automated explicit error correction rather than as dialogic mediation aligned with concepts of sociocultural theory.

국문 초록 (Abstract)

대규모 언어 모델의 급속한 발전은 개인화된 말하기 연습을 제공하는 AI 기반 언어 학습 애플리케이션의 확산을 이끌었다. 한국의 외국어로서의 영어 환경에서 상업용 GPT 기반 말하기 챗봇은 교실 밖 말하기 연습 도구로 점점 더 활용되고 있으나, 이러한 시스템이 실제 상호작용 과정에서 교정적 피드백을 어떻게 제공하는지에 대한 실증적 연구는 아직 제한적이다. 본 연구는 상업용 GPT 기반 말하기 챗봇에서 나타나는 교정적 피드백 양상을 미시적으로 분석하고, 제공되는 피드백의 유형과 그것이 학습자의 제2언어 말하기 수행을 어떻게 중재하는지를 탐구하는 것을 목적으로 한다. 본 연구에는 한국인 성인 EFL 학습자 6명이 참여하였으며, 이들은 7일간 연속적으로 챗봇과 상호작용하면서 매일 하나의 역할극 과제와 하나의 자유 발화 과제를 수행하였다. 모든 상호작용 자료는 음성으로 녹음되어 전사되었다. 학습자의 수행 변화를 시간의 흐름 속에서 살펴보기 위해, Day 1과 Day 7의 발화를 대상으로 어휘 다양성과 통사적 복잡성의 변화를 각각 유형–토큰 비율(type–token ratio, TTR)과 문장당 절 수(clauses per sentence, C/S)를 사용하여 분석하였으며, 이는 학습자 개인의 출발점 대비 변화를 중시하는 자기참조 평가 관점에서 해석되었다. 챗봇이 생성한 모든 교정적 피드백 발화는 상호작용 기록에서 추출되어 여섯 가지 교정적 피드백 유형 분류틀에 따라 코딩되었다. 또한 일부 상호작용 발췌문과 사후 설문 응답은 사회문화적 관점에서 질적으로 분석되어, 말하기 과정에서 피드백이 중재로서 어떻게 기능하는지를 탐색하였다. 분석 결과, 어휘 다양성에서는 소폭의 향상이 나타난 반면 통사적 복잡성은 전반적으로 안정적인 양상을 보였으며, 자기참조 평가 관점에서 볼 때 개인별 수행 변화에는 상당한 변이가 존재하였다. 챗봇이 제공한 모든 교정적 피드백은 명시적 교정으로 분류되었고, 재진술, 명료화 요청, 유도, 교정 없는 메타언어적 피드백, 반복은 관찰되지 않았다. 명시적 교정은 일부 경우 형식적 정확성 향상에 기여하였으나, 학습자의 의도된 의미를 충분히 중재하지 못하는 경우가 많았으며, 때로는 음성 인식 오류나 의미적으로 부적절한 교정으로 인해 상호작용이 방해되기도 하였다. 이러한 결과는 해당 챗봇의 피드백 제공 방식이 사회문화적 이론의 개념에 부합하는 대화적 중재라기보다는, 자동화된 명시적 오류 교정에 가깝게 작동하고 있음을 시사한다.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• 1.1. Background 1
• 1.2. Research Gap 2
• 1.3. Purpose and Research Questions 4
• 1.4. Research Design 5
• Chapter 2. Literature Review 7
• 2.1. Ipsative Assessment: Individual Learning Gain 7
• 2.2 Corrective Feedback in L2 Interaction 10
• 2.3 Sociocultural Theory: Mediation & ZPD 14
• Chapter 3. Methodology 18
• 3.1. Research Design 18
• 3.2. Participants 19
• 3.3. Instruments 20
• 3.3.1. GPT-based Educational Speaking Chatbot: Speak App 20
• 3.3.2. Daily Interaction Sessions 24
• 3.3.3. Post-Use Questionnaire 26
• 3.4. Procedure 28
• 3.4.1. Orientation 28
• 3.4.2. Seven-Day Interaction Phase 29
• 3.4.3. Post-Use Questionnaire 31
• 3.5. Data Analysis 32
• 3.5.1. Transcription and Pre-processing 32
• 3.5.2. Lexical Diversity 34
• 3.5.3. Syntactic Complexity 34
• 3.5.4. Ipsative Interpretation of Change 36
• 3.6. Ethical Considerations 37
• Chapter 4. Findings 38
• 4.1. RQ1: Changes in Lexical Diversity and Syntactic Complexity 38
• 4.1.1. Overall Patterns 39
• 4.1.2. Individual Variation and Ipsative Interpretation 41
• 4.1.3. Survey Results 44
• 4.2. RQ2: Types of Corrective Feedback 48
• 4.3. RQ3: Mediation through AI-Chatbot Feedback 51
• Chapter 5. Discussion and Conclusion 57
• 5.1. Summary of Findings 57
• 5.2. Discussion 58
• 5.3. Pedagogical and Design Implications 62
• 5.4. Limitations and Future Directions 64
• References 66
• Appendix 71