검색 증강 생성(RAG) 기반 국어과 서·논술형 평가 채점자 훈련 프로그램 개발 방안 연구 = A Study on Developing a Rater Training Program for Korean Language Arts Essay Assessment Based on Retrieval-Augmented Generation(RAG)

국문 초록 (Abstract)

본 연구는 미래 역량 함양을 위한 국어과 서·논술형 평가의 확대 추세 속에서, 평가의 공정성과 신뢰도를 담보하기 위한 핵심 과제인 ‘채점자 전문성’을 신장시 키기 위해 RAG(Retrieval-Augmented Generation, 검색 증강 생성) 기반의 채점자 훈련 프로그램을 설계하고 개발하는 데 목적이 있다. 기존의 대면 집합 연수는 시공간적 제약과 일회성 교육이라는 한계가 있었으며, 기존의 컴퓨터 기반 훈련 역시 단순한 정오답 확인에 그쳐 채점자의 심층적인 사 고 과정을 지원하지 못했다. 이에 본 연구는 전문가의 검증된 지식 데이터베이스 를 실시간으로 검색하여 맥락에 맞는 피드백을 생성하는 RAG 기술을 도입하여, 개인화되고 적응적인 훈련 환경을 구축하고자 하였다. 이를 위해 문헌 연구 및 사례 분석을 수행하였으며, 인지적 도제, 준거 참조 훈 련(FOR), 의도적 연습 이론을 토대로 6가지 핵심 설계 원리를 도출하였다. 개발된 프로그램은 '2-Round 학습 경로'를 따르는 7단계(문항 및 기준 학습, 1차 채점, 1 차 피드백, 보정 훈련, 전문가 예시 학습, 2차 채점, 최종 피드백)로 구성되었다. 본 프로그램의 핵심 기제인 RAG 시스템은 한국어 교육 맥락에 특화된 LLM(E XAONE 3.5 및 SOLAR 10.7B)과 하이브리드 검색 기술을 활용하여 구축되었다. 시스템은 학습자의 채점 결과와 전문가 합의 결과 간의 간극을 분석하고, 학습자 의 채점 성향(관대화/엄격화)에 따른 맞춤형 피드백과 앵커 답안을 제공한다. 또 한, 'What-Where-Why' 구조의 채점 근거 작성 활동을 통해 학습자의 메타인지적 성찰을 유도하고, 전문가와의 합의 수준(Consensus Level)을 높이도록 설계되었다. 본 연구는 전통적인 도제식 훈련의 원리를 최신 AI 기술로 구현하여, 시공간의 제약 없이 채점 일관성과 신뢰도를 확보할 수 있는 구체적인 실행 방안을 제시했 다는 점에서 의의가 있다. 이는 향후 서·논술형 평가의 현장 안착과 AI 기반 교사 전문성 개발 체계 구축에 기여할 것으로 기대된다. ※ 핵심어 : 국어과 서·논술형 평가, 채점자 훈련, LLM, RAG, 평가 전문성, 채 점 신뢰도, AI 기반 교육

목차 (Table of Contents)

• Ⅰ 서론1
• 1. 연구 필요성 및 목적1
• 2. 선행 연구 검토 3
• 3. 연구 문제 및 제한점 8
• Ⅱ 이론적 배경 11
• 1. 서논술형 평가11
• 2. 서논술형 평가 데이터셋 30
• 3. RAG 기반 채점자 훈련36
• Ⅲ 연구 방법 64
• 1. 연구 설계 64
• 2. 프로그램 설계 원리81
• 3. 프로그램 구성 85
• Ⅳ 연구 결과 94
• 1. 프로그램 구성 94
• Ⅴ 결론 114
• 1. 연구 요약 114
• 2. 연구 의의 117
• 3. 연구 제한점 120
• 4. 후속 연구를 위한 제언 122
• 참고 문헌 126
• ABSTRACT 144