학술적 글쓰기에서 설명 가능한 인공지능(XAI) 피드백의 교육적 효과연구 : 학습자의 인지적 이해와 자기 수정 과정을 중심으로

다국어 초록 (Multilingual Abstract)

This study investigates the pedagogical effectiveness of explainable artificial intelligence (XAI) as a novel feedback model for foreign language learners, responding to the rapid advancement of generative artificial intelligence (Generative AI) and the resulting paradigm shift in academic writing instruction. Traditional AI-based feedback has been criticized for its answer-driven, one-directional corrective approach, which may limit learners’ active cognitive engagement. To address this limitation, the present study focuses on the explanatory capacity of XAI to provide not only revision outcomes but also the reasons and logical rationales behind those revisions, and examines its effects on learners’ cognitive uptake and self-revision processes.
Participants were foreign learners of Korean enrolled in undergraduate programs. Using a within-subject crossover design, this study compared the effects of ChatGPT-based XAI feedback and human teacher feedback through both quantitative and qualitative analyses. The main findings are summarized as follows.
First, XAI-based feedback produced significantly greater gains in academic writing performance than human teacher feedback. In particular, in higher-order discourse domains requiring persuasive content development and structural coherence, the logical scaffolding provided by XAI enabled learners to identify structural weaknesses in their texts and independently reorganize them. By contrast, no significant differences emerged between the two feedback conditions at the micro level (e.g., linguistic accuracy), indicating that XAI’s primary strength lies in supporting macro-level writing strategies rather than surface-level corrections.
Second, time-series analyses revealed not only a general practice effect, reflected in improvements in learners’ overall writing proficiency across repeated tasks, but also a clear development of feedback literacy. Learners increasingly evaluated generative AI suggestions critically and adapted them to align with their own communicative intentions. This finding suggests that XAI functions as a sustainable instructional tool that fosters learners’ internalized writing competence.
Third, learner perception data and qualitative analyses indicated high levels of satisfaction with and trust in the immediacy and explanatory depth of XAI feedback. Learners reconceptualized generative AI from a simple tool to a “cognitive partner” and demonstrated a shift toward greater authorial agency, moving beyond uncritical acceptance to actively selecting and validating feedback. Nonetheless, the findings also confirm that human teachers’ professional mediation remains essential for ensuring the reliability of final decisions and guiding contextually appropriate revisions.
Based on these findings, this study proposes a complementary two-stage feedback model in which XAI provides initial structural diagnosis and logical scaffolding, while teachers offer advanced, expert-level guidance. By empirically integrating XAI into Korean academic writing instruction, this study highlights its pedagogical potential and provides foundational insights for designing future-oriented writing pedagogy in which generative AI and human teachers coexist.

국문 초록 (Abstract)

본 연구는 생성형 인공지능(Generative AI)의 급격한 발전이 학술적 작문 교육의 패러다임 변화를 요구하고 있다는 점에 주목하여, 외국인 학습자를 위한 새로운 피드백 모형으로서 ‘설명 가능한 인공지능(XAI)’의 교육적 실효성을 검증하고자 하였다. 기존의 인공지능 피드백이 정답 중심의 일방적 교정에 치중하여 학습자의 능동적 사고를 저해한다는 한계를 극복하기 위해, 본 연구는 수정의 ‘결과’가 아닌 수정의 ‘이유’와 ‘논리적 근거’를 제공하는 XAI의 설명적 기능이 학습자의 인지적 수용과 자기 수정 과정에 미치는 영향을 입체적으로 규명하였다.
연구 대상은 대학 학부 과정에 재학 중인 외국인 한국어 학습자로 설정하였으며, 연구 방법으로는 집단 내 교차 설계(Within-Subject Crossover Design)를 적용하여 ChatGPT 기반 XAI 피드백과 인간 교사의 피드백이 가진 차별적 효과를 정량적·정성적으로 분석하였다. 연구의 주요 결과는 다음과 같다.
첫째, XAI 기반 피드백은 학술적 글쓰기의 성취도 향상 측면에서 인간 교사의 피드백보다 유의미하게 높은 효과를 보였다. 특히 내용의 설득력과 구성의 완결성 등 고차원적인 담화 구성 역량이 요구되는 영역에서 XAI가 제공하는 논리적 비계는 학습자가 텍스트의 구조적 결함을 인지하고 스스로 재구조화하도록 유도하는 결정적인 기제로 작용하였다. 반면 표현의 정확성 등 미시적 차원에서는 두 피드백 조건 간에 유의미한 차이가 발견되지 않아, XAI의 강점이 거시적 작문 전략 수립에 있음을 확인하였다.
둘째, 시계열적 분석을 통해 실험이 반복됨에 따라 학습자들의 전반적인 글쓰기 기초 역량이 강화되는 ‘연습 효과’와 더불어, 생성형 인공지능의 제안을 비판적으로 평가하고 자신의 의도에 맞게 재해석하는 ‘피드백 리터러시(Feedback Literacy)’의 뚜렷한 발달을 관찰할 수 있었다. 이는 XAI가 학습자의 내재적 작문 역량을 강화하는 지속 가능한 교육 도구임을 보여준다.
셋째, 학습자 인식 및 질적 분석 결과, 학습자들은 XAI의 즉각성과 상세한 설명 방식에 대해 높은 만족과 신뢰를 나타냈다. 학습자들은 생성형 인공지능를 단순한 도구에서 ‘인지적 파트너’로 재정의하며, 무비판적 수용에서 벗어나 정보를 선별하고 검증하는 ‘주체적 필자(Authorial Agency)’로서의 태도 변화를 보였다. 다만, 최종적인 판단의 신뢰도와 맥락적 적절성 지도에 있어서는 여전히 인간 교사의 전문적 중재를 필요로 함이 확인되었다.
이상의 결과를 종합하여 본 연구는 XAI가 기초적인 구조 진단과 논리적 비계를 제공하고 교사가 심화된 전문 지도를 수행하는 ‘상호보완적 2단계 피드백 모델’을 제안하였다. 본 연구는 한국어 학술 글쓰기 교육 현장에 XAI를 실증적으로 도입하여 그 가능성을 확인했다는 점에서 학술적 의의가 있으며, 향후 생성형 인공지능과 인간 교사가 공존하는 미래지향적 작문 교육 교수 학습 모형 설계의 핵심 기초 자료로 활용될 수 있을 것이다.

목차 (Table of Contents)

• 제1장 서론 1
• 1.1 연구 목적 및 필요성 1
• 1.2 선행연구 4
• 1.2.1 학술적 글쓰기에서 피드백 관련 연구 5
• 1.2.2 학술적 글쓰기에서 생성형 인공지능 활용 연구 7
• 1.3 연구 문제 10
• 제2장 이론적 배경 13
• 2.1 학술적 글쓰기와 피드백 13
• 2.1.1 학술적 글쓰기의 개념 및 특성 13
• 2.1.2 과정 중심 접근법과 피드백의 교육적 기능 15
• 2.2 학습자 주도성과 자기 수정 18
• 2.2.1 학습자 중심 피드백과 자기 조절 학습 18
• 2.2.2 피드백 수용의 기제와 중요성 21
• 2.3 생성형 인공지능 및 설명 가능한 인공지능(XAI) 23
• 2.3.1 생성형 인공지능의 교육적 가능성 23
• 2.3.2 설명 가능한 인공지능의 개념 및 비계 역할 27
• 제3장 연구 설계 30
• 3.1 연구 대상 및 환경 30
• 3.1.1 연구 참여자 선정 30
• 3.1.2 집단 구성 및 특성 32
• 3.1.3 연구 환경 및 도구 소개 34
• 3.2 연구 절차 35
• 3.2.1 학술적 글쓰기 기초 교육 실시 35
• 3.2.2 교차 설계를 활용한 실험 진행 38
• 3.2.3 1차 실험: A집단 ChatGPT 활용 대 B집단 비활용 40
• 3.2.4 2차 시험: 조건 전환 후 글쓰기 수행 41
• 3.2.5 전문가 집단을 통한 글쓰기 결과물 평가 43
• 3.3 글쓰기 과제 및 ChatGPT 활용 방식 45
• 3.3.1 학술적 글쓰기 과제 설계 기준 45
• 3.3.2 ChatGPT 활용 집단의 프롬프트 설계 및 활용 안내 47
• 3.3.3 비활용 집단의 조건 및 제한 사항 51
• 3.4 데이터 수집 및 분석 방법 52
• 3.4.1 평가 루브릭 설계 52
• 3.4.2 설문지 및 면담 문항 설계 55
• 3.4.3 결과 분석 방법 57
• 제4장 연구 분석 및 결과 59
• 4.1 학술적 글쓰기 수행 결과 분석 59
• 4.1.1 집단 간 사전 동질성 검증 59
• 4.1.2 피드백 유형에 따른 성취도 변화 비교 61
• 4.1.3 평가 영역별 세부 수행 결과 분석 64
• 4.1.4 실험 차수 및 순서 효과 분석 67
• 4.2 학술적 글쓰기 결과물 분석 70
• 4.2.1 설명 기능을 통한 논증 구조의 강화 70
• 4.2.2 담화 조직 및 텍스트 응집성 개선 양상 74
• 4.2.3 학술적 문체 및 표현 수정의 특징 비교 78
• 4.2.4 피드백 수용 양상 및 자기 수정 전략 81
• 4.3 학습자의 인식 및 수용도 분석 85
• 4.3.1 피드백 유용성 인식 및 전반적 만족도 86
• 4.3.2 설명 가능성에 대한 이해도 및 수용 양상 88
• 4.3.3 피드백 신뢰도와 심리적 부담감의 차이 91
• 4.3.4 자기 주도적 학습 태도 및 효능감의 변화 94
• 제5장 교육적 적용 방안 98
• 5.1 설명 가능한 인공지능 기반 피드백 활용 교수학습 모형 98
• 5.1.1 교사와 XAI의 상호보완적 2단계 피드백 모델 98
• 5.1.2 단계별 프롬프트 비계 전략 100
• 5.2 학술적 글쓰기 역량 강화를 위한 인공지능 리터러시 교육 102
• 5.2.1 비판적 피드백 수용 및 검증 훈련 102
• 5.2.2 인공지능 협업을 통한 자기 주도적 수정 능력 함양 104
• 제6장 결론 106
• 참고문헌 108
• 부록 115
• ABSTRACT 124