AI 기반 서·논술형 글쓰기 피드백 생성을 위한 프롬프트 설계 연구 = A Study on Prompt Design for AI-Based Feedback Generation for Essay and Short-Answer Writing

국문 초록 (Abstract)

본 연구는 효과적인 피드백의 특성에 기반한 프롬프트 설계가 생성형 인공지능이 생성한 글쓰기 피드백의 질을 학습자 수용성, 그리고 쓰기 성취에 미치는 영향을 중심으로 분석함으로써 효과적인 AI 기반 글쓰기 피드백을 생성하기 위한 프롬프트 설계 방안을 탐색하는 것을 목적으로 한다.
대규모 학급 운영으로 인해 개별화 피드백을 제공하기 어려운 현실 속에서, 생성형 AI를 활용한 글쓰기 피드백은 새로운 교육적 대안으로 주목받고 있다. 그러나 AI 피드백의 질과 효과성은 프롬프트 설계 방식에 따라 크게 달라질 수 있음에도, 이에 대한 실증적 연구는 매우 제한적이었다. 따라서 본 연구는 효과적인 피드백의 특성에 기반하여 프롬프트 설계 요소를 구체화하고, 프롬프트 유형별로 AI 피드백의 질적 특성과 학습자의 수용 및 실제 쓰기 능력 변화를 검증하고자 하였다.
선행 연구 검토 결과, 학습자의 쓰기 발달을 지원하기 위해 AI 피드백 프롬프트 설계 시 고려해야 할 핵심 요소를 도출할 수 있었다. 형성적 피드백의 원리를 기반으로 한 프롬프트 설계 핵심 요소로 ‘글의 강점과 약점의 정확한 진단’과 ‘구체적인 개선 방안 제시’를 설정하였다. 프롬프트 설계 시 피드백 요소 반영 여부에 따른 프롬프트의 효과 차이를 분석하기 위해 선택한 프롬프트 설계 요소는 첫째로, 학습자가 수정의 초점을 명확히 인식할 수 있도록 하는 ‘우선순위 제공’, 둘째로, 학습자의 인지 수준과 언어 수준에 맞게 정보를 재구성하는 ‘이해도 조정’으로 설정하였다.
두 요소를 기반으로 본 연구는 ① 기본형(형성적 피드백 원리만 반영), ② 우선순위 조정형(평가 요소 3가지만 선별), ③ 이해도 조정형(학습자 수준 맞춤 피드백 언어 조정), ④ 우선순위+이해도 동시 조정형(CoT를 활용한 우선순위와 이해도 동시 조정)으로 이루어진 총 4개의 피드백 생성 프롬프트를 설계하였다.
이와 같은 프롬프트 설계를 바탕으로 생성된 AI 기반 글쓰기 피드백은 세종시 소재 D중학교 2학년 학생 227명에게 서·논술형 평가 맥락에서 제공되었으며, 고쳐쓰기 수행 또는 피드백 수용성 검사에 참여하지 않은 응답을 제외한 101명의 자료를 분석 대상으로 삼았다.
실험은 사전 쓰기–AI 피드백 제공–고쳐쓰기로 진행되었으며, ChatGPT-4o를 활용하여 글쓰기 피드백을 생성하였다. 수집된 자료는 Jamovi 통계 프로그램을 이용하여 기술통계,
ANOVA, 대응표본 t검정, 윌콕슨 부호순위 검정, 반복측정 ANOVA를 실시하였고, 세 명의 국어교사가 전수 교차 채점하여 채점 신뢰도(Cronbach α=.887~.927)를 확보하였다.
분석 결과, 프롬프트 설계에 따라 피드백의 분량과 이독성에서 유의미한 차이가 나타났다. 피드백 분량은 이해도 조정형이 가장 길었고, 우선순위와 이해도를 동시에 적용한 우선순위+이해도 동시 조정형이 가장 간결하였다. 피드백의 이독성 수준은 평균 6.63학년으로
대상 학년(8학년)에 다소 근접하였으며, 우선순위+이해도 동시 조정형의 글쓰기 피드백이 가장 읽기 쉬운 것으로 나타났다.
학습자의 피드백 수용성은 전체적으로 긍정적(평균 19.7/24점)으로 나타났으며, 유형 간 통계적 차이는 없으나 우선순위+이해도 동시 조정형이
대체로 가장 높은 평균과 안정적인 분산을 보였다. 서·논술형 과제 수행 결과는 사전 대비 사후에서 총점, 내용, 조직 영역이 유의하게 향상되었고, 표현 영역은 다소 제한적 향상을 보였다. 프롬프트 유형에 따른 향상도 차이는 통계적으로 유의하지 않았다.
연구 결과를 종합하면 AI 기반 글쓰기 피드백 생성을 위한 프롬프트 설계에 있어서
학습자의 이해도를 고려한 프롬프트 설계가 피드백의 효율성과 학습자 수용성을 모두 향상시키기 위해 필수적이다.
반면 우선순위를 고려한 피드백은 학습자가 원하는 피드백과 제공하는 피드백의 불일치 문제 등으로 효과가 다소 미비하였다. 이를 보완하기 위해서는 우선순위 요소를 프롬포트를 포함할 때, 이해도를 고려한 프롬프트 설계는 추가적으로 하는 것이 필수적이다.
연구 결과에 드러난 영역별 쓰기 개선 효과를 살펴보면, 내용과 조직 영역에서 유의한 향상이 나타났지만, 표현 영역의 개선은 상대적으로 제한적이었다. 이는 표현 영역의 특성상 어휘 선택, 문체 조정, 문장 구조 변환 등 세부적인 언어적 조정이 요구되며, 이러한 변화를 촉진하기 위해서는 문장 수준의 구체적 예시 제공과 반복적 수정 기회의 확보가 병행되어야 함을 시사한다.
결론적으로 본 연구에서 개발된 프롬프트 설계 모델은 효과적인 피드백의 특성을 생성형 AI 글쓰기 교육에 적용한 실증적 사례로서, ‘AI 기반 글쓰기 개별화 피드백’의 가능성을 검증하였다.
본 연구의 결과는 학습자의 자율적 쓰기 성장을 지원하는 AI 기반 피드백 설계의 방향을 제시한다. 최종적으로 학습자의 특성을 고려한 학습자 중심의 AI 기반 글쓰기 피드백 설계는 향후 국어과 교육 현장에서 서·논술형 글쓰기 평가의 실질적 대안을 마련하는 데 기여할 것으로 기대된다.



※ 핵심어 : 글쓰기 피드백, 프롬프트 설계, 피드백 생성, 서·논술형 평가, 개별화 피드백

목차 (Table of Contents)

• Ⅰ 서론1
• 1. 연구의 필요성 및 목적 1
• 2. 선행 연구 검토 5
• 3. 연구 문제 및 제한점12
• Ⅱ 이론적 배경 15
• 1. 교육적 관점의 글쓰기 피드백15
• 2. 프롬프트 기반 자동 피드백 설계 전략27
• Ⅲ 연구 방법 41
• 1. 연구 대상 41
• 2. 검사 도구42
• 3. 연구 절차52
• 4. 분석 도구54
• Ⅳ 연구 결과 56
• 1. 프롬프트별 피드백 생성 양상 분석56
• 2. 프롬프트별 피드백 수용성 비교 분석 63
• 3. 프롬프트별 쓰기 능력 개선 비교 분석75
• Ⅴ 결론 및 제언 112
• 참고 문헌 125
• ABSTRACT 132
• 부록 136