생성형 AI 기반 물리 문항 생성을 위한 프롬프트 분석과 생성 문항에 대한 교사 인식 조사 : 1차원 등가속도 운동을 중심으로 = Prompt analysis for generative AI-based Physics Items generation and Teacher perception Survey: Focusing on 1D constantly accelerated motion

국문 초록 (Abstract)

본 연구에서는 생성형 AI(ChatGPT-4o)를 활용한 물리 문항 생성 과정의 프롬프트 상호작용 특징을 분석하고 생성된 문항의 질과 교육적 활용 가능성에 대한 현직 교사들의 인식을 탐색함으로써 AI 기반 물리 문항 개발의 가능성과 한계를 검토하고자 하였다. 먼저, 현직 물리 교사인 연구자가 AI와 상호작용하며 고난도 문항을 생성 하는 과정을 추적하였으며 수집된 프롬프트 데이터를 근거 이론에 기반하여 분석한 결과, 상호작용 양상이 과학적 오류 수정, 표현·조건 명확화, 문항 보정, 시각 자료 요청, 재요청 및 자료 요구의 5가지 핵심 범주로 유형화되었다. 이는 생성형 AI를 활용한 문항 생성이 단순한 일회성 명령이 아닌 교사의 전문적 개입을 통한 '반복적 개선(Iterative Refinement)’과정임을 시사한다. 다음으로 생성형 AI로부터 난이도별(쉬움, 보통, 어려움) 문항을 생성하고 현직 물리 교사 30명을 대상으로 과학적 정합성, 표현 명확성, 문항 해석 명료성, 교육적 활용 가능성의 4가지 준거에 따라 문항의 질을 평가하였다. 그 결과 쉬움과 보통 수준의 문항은 전반적으로 양호한 평가를 받은 반면, 어려움 문항은 표현 명확성과 문항 해석 명료성 영역에서 상대적으로 낮은 평가를 받았다. 이는 문항의 복잡도가 증가할수록 물리적 내용 지식과 이를 전달하는 언어적·구조적 표현 간에 질적 수준의 격차가 나타남을 보여준다. 마지막으로 AI 제작 사실 인지 전후의 인식 변화를 양적·질적으로 분석한 결과 교사들은 AI 문항을 수업 보조 자료나 효율적인 초안으로 활용하는 데에는 긍정적이었으나 성적 산출을 위한 평가 도구로 활용 하는 것에는 신중한 태도를 보였다. 이러한 결과를 바탕으로 AI를 물리 교육 현장에 효과적으로 도입하기 위해서는 교사의 비판적 검토와 재구성 과정이 선행되어야 하며 더불어 AI 생성 산출물을 완성품이 아닌 효율적인 초안 생성 도구로 활용하는 인식의 전환이 필요함을 시사한다.

목차 (Table of Contents)

• Ⅰ. 서 론 1
• 1. 연구 배경 1
• 2. 연구의 필요성 3
• 3. 연구 목적 및 연구 문제 5
• 4. 연구의 중요성 6
• 5. 용어의 정의 8
• Ⅱ. 이론적 배경 10
• 1. 생성형 AI와 교육 분야 활용 10
• 1.1 AI 성능 검증 연구 10
• 1.2 AI의 교육적 활용 연구 11
• 2. 프롬프트 엔지니어링과 반복적 개선 12
• 3. 물리 문항의 질에 대한 이론적 기반 14
• 3.1 과학적 정합성 14
• 3.2 표현 명확성 15
• 3.3 문항 해석 명료성 15
• 3.4 교육적 활용 가능성 16
• 4. 기술수용모형과 교사 인식 17
• Ⅲ. 연구 방법 18
• 1. 연구 설계 개요 18
• 2. 프롬프트 데이터 수집과 분석(RQ1) 19
• 2.1 연구 대상 및 수집 절차 19
• 2.2 질적 데이터 분석 21
• 2.2.1 개방 코딩(Open Coding) 21
• 2.2.2 축 코딩(Axial Coding) 22
• 2.2.3 선택 코딩(Selective Coding) 22
• 3. AI 제작 문항에 대한 교사 인식 조사(RQ2) 23
• 3.1 연구 대상 23
• 3.2 평가 문항(Assessment Item) 구성 23
• 3.3 측정 도구 개발 및 타당도 확보 24
• 3.4 자료 분석 27
• 4. AI 제작 사실 공개 후 교사 인식 변화 분석(RQ3) 28
• 4.1 연구 설계 28
• 4.2 자료 수집 28
• 4.3 자료 분석 30
• 4.3.1 양적 데이터 분석 30
• 4.3.2 질적 데이터 분석 30
• 5. 연구의 한계점 31
• Ⅳ. 연구 결과 및 논의 33
• 1. 프롬프트 데이터 분석 결과(RQ1) 34
• 1.1 코드 체계와 범주화 결과 34
• 1.1.1 과학적 오류 수정 35
• 1.1.2 표현조건 명확화 36
• 1.1.3 문항 보정 37
• 1.1.4 시각 자료 요청 38
• 1.1.5 재요청 및 자료요구 39
• 1.2 범주 간 구조 및 상호 연결성 40
• 1.2.1 범주 간 연결망(Concept Map) 40
• 1.2.2 코드 간 결합 양상(Code Map) 42
• 1.3 프롬프트 상호작용의 시계열적 흐름과 누적 추이 43
• 1.4 상호작용의 구간별 빈도 분석 및 단계적 특징 47
• 2. 생성형 AI 제작 문항에 대한 교사 인식 조사 결과(RQ2) 49
• 2.1 측정 도구의 신뢰도 검증 49
• 2.2 문항 난이도에 대한 교사 인식 50
• 2.3 문항별 전체 인식 비교 51
• 2.4 평가 영역별 심층 비교 분석 53
• 2.4.1 과학적 정합성 54
• 2.4.2 표현 명확성 54
• 2.4.3 문항 해석 명료성 및 교육적 활용 가능성 54
• 3. AI 제작 사실 공개 후 교사 인식 변화 분석(RQ3) 56
• 3.1 교육적 활용 가능성에 대한 인식 변화(양적 분석) 56
• 3.2 인식 변화의 배경 및 맥락 분석(질적 분석) 57
• 3.2.1 교수학습 활용에 대한 긍정적 인식 57
• 3.2.2 평가 활용에 대한 우려와 한계 60
• 3.2.3 교육 현장 활용에 대한 종합적 인식 64
• Ⅴ. 결론 및 제언 67
• 참고문헌 70
• ABSTRACT 75
• 부록 77