생성형 AI 기반 쓰기 피드백의 효과와 학습자 반응 분석 = Effects of Generative AI–Based Writing Feedback and Learner Responses

국문 초록 (Abstract)

본 연구에서는 생성형 AI 기반 쓰기 피드백의 교육적 효과와 특성을 검증하기 위해 인간 평가자와 ChatGPT에 의해 산출된 피드백이 고등학생의 논술 답안 고쳐쓰기 성과에 미치는 영향을 비교·분석하였다. 이를 위해 154명의 고등학교 2학년 학생들을 대상으로 준실험적 사전–사후 설계를 적용하여 양적 효과를 분석하고, 학생 인식 설문을 통해 질적 특질을 도출하였다. 분석 결과, AI 피드백의 효과 크기가 인간 피드백에 비해 미세하게 높게 나타났으며, 이원분산분석에서는 쓰기 수준의 주효과만이 유의하게 확인되었다. 질적 분석 결과, AI 피드백은 구체성과 실현 가능성, 체계성과 일관성, 표현 개선 중심이라는 강점을 지니는 반면, 전형성과 메타인지 유도의 한계를 함께 내포하는 것으로 나타났다. 이러한 결과는 생성형 AI 피드백이 1차 수정 도구로 활용될 수 있음을 드러내며, 고차적 논증 요소와 메타인지 유도를 위해서는 교사 피드백과의 혼합 활용이 필요함을 시사한다.

다국어 초록 (Multilingual Abstract)

This study compared the effects of feedback generated by human evaluators and ChatGPT on high-school students’ revision performance in argumentative writing to investigate the educational effectiveness and characteristics of generative AI-based writing feedback. A quasi-experimental pretest-posttest design was used with 154 second-year high school students to examine quantitative effects and identify qualitative features through a learner perception survey. The results showed that the effect size of AI feedback was slightly larger than that of human feedback, and the two-way ANOVA revealed a significant main effect only for writing proficiency level. According to qualitative analysis, AI feedback demonstrated strengths in specificity, feasibility, systematicity, consistency, and a focus on improving linguistic expression, but it also had limitations related to stereotypical patterns and insufficient support for metacognitive engagement. These results suggest that generative AI feedback can be used effectively as a tool for initial revision, whereas a hybrid approach that combines it with teacher feedback is required to address higher-order argumentative elements and promote metacognitive processes.