ChatGPT의 뉴턴 역학 문제 해결 능력과 서술형 답안 특징 분석 : 힘 개념 검사지를 중심으로 = Analyzing ChatGPT’s newtonian mechanics problem-solving ability and the characteristics of descriptive answers: Focusing on the Force Concept Inventory

국문 초록 (Abstract)

본 연구는 최신 생성형 인공지능 모델인 ChatGPT-5의 물리 개념 이 해 및 문제 해결 능력을 분석하기 위해 수행되었다. 이를 위해 물리 교 육 분야에서 학습자의 뉴턴 역학 이해 수준을 측정하는 대표적 도구인 힘 개념 검사지(FCI, Force Concept Inventory)를 활용하여 ChatGPT의 정답률과 서술형 답안을 함께 평가하였다. 연구는 ChatGPT-5를 대상으로 FCI 30문항을 총 10회 반복 입력하여 응답을 수집하였으며, 그림이 포함된 문항은 원문에 제시된 원본 그림을 함께 첨부하여 시각 정보 해석 능력도 동시에 검증하였다. 객관식 응답 의 평균 정답률은 78%로 나타나 ChatGPT가 기본적인 뉴턴 역학 개념 을 상당 부분 이해하고 있음을 보여주었다. 다만, 그림 의존 문항에서의 평균 정답률은 약 26.7%로 낮게 나타나 시각 정보 해석에는 한계가 있 음을 시사하였다. 한편, 자체 개발한 서술형 평가 루브릭(총 10점)으로 채점한 결과, ChatGPT의 평균 점수는 9.18점(언어 능력 4.57점, 문제 풀이 능력 4.61 점)으로 매우 높은 수준의 수행을 보였다. 이는 단순 정답률보다 서술형 응답의 질이 높음을 의미하며, ChatGPT가 과학적 개념을 언어적으로 설 명하고 논리적으로 전개하는 능력이 우수함을 보여준다. 서술형 답안의 특징으로는 논리적 구조와 정확한 과학 용어 사용이 돋보였으나, 일부 문항에서 아리스토텔레스식 오개념, 전제 및 용어의 누 락, 한국어 문장 오류, 그림 해석의 착오 등이 확인되었다. 결과적으로 ChatGPT는 FCI를 일정 수준 이상 수행할 수 있는 학습 조력자(Learning Tutor)로서의 가능성을 지니고 있으며, 개념 설명, 오개 념 진단, 피드백 제공 등에서 교육적 활용 가치가 높다. 다만 시각 정보 해석 능력과 문장 정밀도의 한계가 존재하므로, 향후 연구에서는 다양한 물리 영역으로 확장하고 교사의 전문성과 인공지능의 보조 기능이 상호 보완적으로 작용하는 교육 모델 개발이 필요하다.

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1. 연구의 필요성 및 목적 1
• 2. 연구 문제 5
• Ⅱ. 이론적 배경 6
• 1. 힘 개념 검사지 6
• 2. ChatGPT에 FCI를 적용한 선행 연구 7
• Ⅲ. 연구 방법 12
• 1. 연구 대상 및 도구 12
• 2. 그림 유무에 따른 FCI 문항의 분류 14
• 3. ChatGPT의 서술형 답안 평가 루브릭 개발 15
• 4. 연구 절차 20
• Ⅳ. 연구 결과 21
• 1. ChatGPT-5의 FCI 정답률 산출 21
• 2. ChatGPT의 서술형 답안 채점: 언어 능력과 문제 풀이 능력 24
• 3. ChatGPT의 서술형 답안 특징 분석 26
• Ⅴ. 결론 및 제언 42
• 참고 문헌 47
• ABSTRACT 51
• 부록 54