고등학생 논증적 글의 자동 피드백 시스템 연구 = A Study on an Automated Feedback System for High School Students' Argumentative Essays|RISS 상세보기

국문 초록 (Abstract)

현대 쓰기 교육의 패러다임이 과거 결과 중심의 평가에서 과정 중심의 지도로 전환됨에 따라, 학습자의 글쓰기 수행 과정을 면밀히 관찰하고 시의적절한 조언을 제공하는 피드백의 중요성은 날로 증대되고 있다. 그러나 일선 교육 현장의 과밀한 학급 환경과 교사의 업무 과중은 개별 학습자에게 충분하고 구체적인 피드백을 제공하는 데 현실적인 장벽으로 작용하고 있으며, 이는 학습자의 쓰기 효능감을 저하시키는 주요 원인이 되고 있다.
최근 등장한 생성형 AI는 이러한 문제를 해결할 대안으로 주목받고 있으나, 그럴듯한 거짓을 생성하는 환각 현상과 동일한 입력에도 다른 결과를 산출하는 비일관성으로 인해 교육적 신뢰도를 온전히 담보하기 어렵다는 한계를 지닌다. 또한 기존의 규칙 기반 자동 평가 시스템은 어휘나 문법 등 표면적 자질의 교정에 집중하여, 글의 논리적 구조나 표현의 맥락적 적절성과 같은 심층적 자질을 설명해 주지 못하는 한계를 안고 있다.
이에 본 연구는 국어 교육 전문가의 판단 기준을 내재화하여 교육적 신뢰성 및 설명 가능성을 확보하고, 최신의 자연어 처리 기술을 접목하여 새로운 자동 피드백 시스템 체제를 개발하고 제안하는 것을 목적으로 하였다. 구체적으로는 전문가 주석 데이터를 학습한 SBERT 기반의 자동 탐지 모델이 글의 논증적 자질을 객관적으로 진단하고, 그 결과를 IDEA 프레임워크 기반의 구조화된 프롬프트 엔지니어링을 통해 LLM에 전달하여 통제된 자연어 피드백을 생성하는 결합적 구조를 제안하고 그 타당성을 검증하였다.
본 연구를 수행하기 위해 먼저 고등학교 1∼3학년 학생 600명을 대상으로 ‘동물원 폐지’라는 단일 논제의 논증적 글을 수집하여 기초 말뭉치를 마련하였다. 수집된 글은 학습자의 수준별 특성 분석 및 자동 탐지 모델 훈련 및 검증에 모두 사용되었다. 먼저, 학습자의 논증적 글쓰기 수행 수준은 다국면 Rasch 모형 분석을 통해 평가자 신뢰도가 검증된 19명의 국어 교사 채점 점수를 기준으로 상위, 중위, 하위 집단으로 분류되었다.
이어 8명의 국어 교사가 문장 단위로 4가지 핵심 논증 자질인 ‘논증 전개 단위’, ‘논증 요소’, ‘논증 도식’, ‘논증 표현’에 대해 정밀 주석을 수행하였다. 주석 데이터의 신뢰도는 mv-alpha와 Gwet's AC1 계수를 통해 엄격하게 검증되었으며, 이를 통해 총 10,000여 개 문장 규모의 고품질 주석 코퍼스를 구축하였다. 이 과정에서 구축된 데이터는 단순한 기계 학습용 데이터를 넘어, 고등학생 논증적 글쓰기의 실태를 보여주는 실증적 자료로서의 가치를 지닌다.
이후 데이터 분석 단계에서는 구축된 말뭉치를 활용하여 수준별 논증적 글의 변별적 특성을 통계적으로 규명하였다. 기술통계, 일원분산분석, 효과 크기, 상관분석 등을 통해 각 자질이 쓰기 점수에 미치는 영향력을 다각도로 분석하고, 이를 자동 피드백 시스템의 진단 알고리즘 설계의 핵심 근거로 삼았다.
최종적으로 시스템 구현 단계에서는 분석 결과를 바탕으로 SBERT 기반의 자동 탐지 모델을 개발하고, 이를 GPT-4o와 연동하는 파이프라인을 구축하였다. 특히 교육적 맥락에 최적화된 피드백 생성을 위해 IDEA 프레임워크에 기반한 프롬프트 엔지니어링을 적용하였으며, Streamlit을 활용한 웹 기반 프로토타입을 구현하여 자동 피드백 시스템의 실효성을 확인하였다.
연구 결과, 고등학생 논증적 글의 수준을 가르는 가장 기초적이면서도 강력한 변인은 글의 절대적 분량인 것으로 확인되었다. 형식적 특성 분석 결과, 총글자 수와 총문단 수는 쓰기 점수와 높은 정적 상관을 보였으며, 상위 수준 학습자는 하위 수준보다 약 2배 많은 텍스트를 산출하는 경향을 보였다. 또한 상위 집단은 문장의 길이를 평균 22어절 이내로 통제하여 가독성을 확보하는 효율성을 보인 반면, 하위 집단은 문단 구분이 불명확한 통글 형태를 띠거나 비문이 다수 포함되는 등 형식적 완결성에서 뚜렷한 차이를 보였다.
제목 작성에 있어서도 상위권은 은유나 수사 의문문을 활용해 독자의 흥미를 유발하는 전략을 구사한 반면, 하위권은 단순 화제 나열에 그쳐 제목 작성의 수준 역시 수준별 차이가 발생함을 확인하였다.
논증의 내용적 충실성을 분석한 결과에서는 ‘논증 요소의 총수’가 글의 질적 수준을 설명하는 가장 강력한 예측 변인으로 나타났다. 개별 요소 중에서는 ‘이유’와 ‘근거’의 풍부성이 수준을 가르는 일차적 요인이었으나, 상위 수준으로 갈수록 ‘반론 반박’과 같은 심층적 요소의 활용이 두드러졌다. 상위 집단은 예상되는 반론을 수용하고 이를 논리적으로 재반박하는 변증법적 구성을 통해 논증의 깊이를 더한 반면, 하위 집단은 자신의 주장을 뒷받침할 객관적 근거 대신 개인적 경험이나 주관적 감상에 의존하는 경향을 보였다.
논리적 추론 방식을 분석한 결과, 고등학생들은 전반적으로 ‘인과’ 도식과 ‘설명적 예시’ 도식에 크게 의존하는 경향을 보였으나, 수준별로 선호하는 전략에는 질적 차이가 존재했다. 상위 수준 학습자는 보편적인 인과 도식이나 설명적 예시 도식 외에도, 개념을 명확히 규정하는 ‘정의’ 도식, 대상을 세분화하는 ‘분리’ 도식, 앞선 사례들의 의미를 종합할 수 있는 ‘귀납적 예시’ 도식 등을 복합적으로 활용하여 논증의 설득력을 높였다. 이는 논증 도식의 다양성 확보가 고득점을 위한 핵심 전략임을 시사한다.
논증적 글의 거시적 구조를 분석한 결과, 상위 수준 학습자는 하위 주장을 제시하며 문단을 체계적으로 구획하고, 표지를 사용하여 문단 간의 논리적 관계를 명시하는 구조적 안정성을 보였다. 또한 서론에서 논제 배경이나 시선 사로잡기 전략을 통해 독자를 유인하고, 결론에서 제언이나 전망을 통해 논의를 확장하는 완결된 구성을 취했다. 반면 하위 수준 학습자는 본론의 빈약함으로 인해 서론의 비중이 상대적으로 비대해지거나, 결론을 맺지 못하고 글을 끝내는 구조적 불균형이 빈번하게 관찰되었다.
필자의 태도를 드러내는 논증 표현 분석에서는 논증 전개 단위와의 교차 분석 과정에서 두 자질의 밀접한 연관성이 입증되었으며, 학습자의 메타적 조절 능력이 수준을 결정짓는 중요한 요인임이 밝혀졌다. 분석 결과, 주장이나 이유를 제시하는 논증 전개 단위에서는 주관적 어조가, 근거나 논제 배경을 서술하는 논증 전개 단위에서는 객관적 어조가 사용되는 뚜렷한 경향성이 확인되었다. 상위 수준 학습자는 이러한 전개 단위의 기능을 숙지하되, 필자의 의도에 맞춰 어조를 유연하게 전환하며 객관과 주관의 균형을 유지하였으나, 하위 수준 학습자는 주관적 어조의 비율이 과반을 넘어 필자의 감정이나 판단에 과도하게 매몰되는 편향성을 드러냈다.
이러한 분석 결과를 바탕으로 구현된 전문가 주석 데이터 학습 SBERT 모델은 희소 라벨 통합과 하이퍼파라미터 최적화를 통해 4대 핵심 자질에 대해 평균 가중 F1 점수 0.698을 달성하였다. 특히 추상적 개념인 논증 표현에서 0.80 이상의 높은 성능을 보였으며, 논증 요소 및 다소 복잡한 논증 도식 탐지에서도 0.67 수준의 준수한 성능을 보여, 딥러닝 모델이 인간 전문가의 정성적 판단을 효과적으로 재현할 수 있음을 입증하였다.
이러한 객관적 진단 결과는 ‘역할, 맥락, 구조, 과업, 제약’의 5대 요소를 갖춘 구조화된 프롬프트에 동적으로 연동되어 거대언어모델(LLM)을 정교하게 제어하는 기제로 작용하였다. 그 결과, 본 시스템은 생성형 AI의 고질적인 문제인 환각 현상을 효과적으로 억제하면서도, 학습자의 글에 밀착된 구체적이고 자연스러운 피드백을 생성하였다. 특히 동일한 텍스트에 대해 반복적으로 피드백을 생성할 경우에도 진단의 논리적 일관성은 유지하되, 표현 방식에 자연스러운 변주를 주어 기계적이지 않은 맞춤형 조언을 제공함으로써 시스템의 교육적 실효성을 입증하였다.
본 연구는 고등학생 논증적 글에 대한 다층적 주석 데이터베이스를 구축하여 한국어 쓰기 교육 연구의 실증적 토대를 마련하였을 뿐만 아니라, 딥러닝 모델의 분석적 정확성과 생성형 AI의 언어적 유창성을 결합하여 기존 시스템의 난제였던 신뢰성과 설명 가능성을 동시에 확보한 ‘설명 가능한 자동 피드백 시스템’ 모델을 구현했다는 점에서 중요한 의의를 지닌다.
비록 특정 주제에 한정된 데이터를 기반으로 수행되었으며 실제 교육 현장에서의 종단적 효과성을 검증하는 데는 한계가 있었으나, 전문가의 식견과 인공지능 기술을 융합하여 교사를 대체하는 것이 아닌 조력하는 도구로서의 구체적인 방향성을 새로이 제시했다는 점에서, 향후 AI 기반 작문 교육 시스템의 고도화를 견인하는 실증적인 토대가 될 것으로 기대한다.

주요어 : 자동 피드백, 논증적 글쓰기, 고등학생, SBERT, LLM, 논증 요소, 논증 도식, 논증 무브, 논증 전개 단위, 논증 표현, 논증 어조, 전문가 주석 데이터, 프롬프트 엔지니어링, 생성형 AI, ChatGPT, Python, Streamlit

※ 이 논문은 2026년 2월 한국교원대학교 대학원위원회에 제출된 교육학 박사학위 논문임.

번역하기

현대 쓰기 교육의 패러다임이 과거 결과 중심의 평가에서 과정 중심의 지도로 전환됨에 따라, 학습자의 글쓰기 수행 과정을 면밀히 관찰하고 시의적절한 조언을 제공하는 피드백의 중요성...