중학교 3학년 화학 단원 논술형 평가에서 교사와 생성형 인공지능의 채점 결과 비교 및 분석 = Comparison and Analysis of Teacher and Generative AI Grading Results in Essay-Type Assessments of a Middle School Third-Grade Chemistry Unit.

국문 초록 (Abstract)

본 연구는 중학교 3학년 화학 단원의 논술형 평가에서 교사와 생성형 인공지능(ChatGPT-4o)의 채점 결과를 비교·분석하여 인공지능 기반 자 동 채점의 신뢰성과 교육적 활용 가능성을 연구하는 것을 목표로 하였 다. 이를 위해 2022 개정 과학과 교육과정의 평가 범주에 근거하여 논 술형 문항과 평가 기준을 개발하고, 학생 93명의 답안을 교사 6명과 ChatGPT-4o가 동일한 기준으로 채점하였다. 두 집단의 채점 결과 간 일치도는 급내 상관계수(ICC)를 통해 분석하였다. 분석 결과, 전체 점수 의 평균 측도 ICC는 0.91로 나타나 높은 수준의 일치도를 보였다. 그러 나 평가 기준별로는 ‘독창적인 예시 제시’, ‘과학적 근거에 기반한 주장 제시’, ‘화학식 및 화학 반응식 작성’ 등 고차원적 사고나 창의성이 요구 되는 항목에서 낮은 수준의 일치도를 보였다. 이는 인공지능이 의미적 일관성과 표면적 논리 구조에 기반하여 평가하는 경향이 있으며, 교사의 전문적 판단을 완전히 대체하기에는 한계가 있음을 시사한다. 따라서 인 공지능은 교사의 채점 업무를 보조하고 일관성을 강화하는 상호 보완적 도구로 활용될 수 있으며, 교육 현장에서 인공지능과 교사의 협력적 평 가 체계를 갖추기 위한 후속 연구가 필요하다.

목차 (Table of Contents)

• Ⅰ. 서론 1
• Ⅱ. 이론적 배경 4
• 1. 논술형 평가의 특성과 채점의 어려움 4
• 2. 생성형 인공지능 기반 평가 7
• Ⅲ. 연구 방법 9
• 1. 논술형 평가 문항 및 평가 기준 개발 11
• 2. 교사 평가 13
• 3. ChatGPT-4o 평가 14
• 3. 평가 일치도 분석 15
• Ⅳ. 연구 결과 및 논의 16
• 1. 평가 기준별 일치도 16
• 2. 일치도에 따른 평가 기준 특성 분석 18
• 3. 교사와 인공지능의 평가 특성 분석 21
• Ⅳ. 결론 및 제언 28
• 참고문헌 36