PRIMM 교수법이 적용된 ChatGPT 기반 챗봇 개발 및 프로그래밍 교육 효과 분석 = Analyzing the Educational Effectiveness of a PRIMM-Based ChatGPT Chatbot in Programming Education

국문 초록 (Abstract)

2022 개정 교육과정의 도입으로 정보 교과의 중요성이 더욱 대두되었고 디지털 소양은 정보 교과 뿐 아니라 모든 교과 교육을 통해 함양할 것이 강조되었다. AI·SW 등 다양한 기술 산업의 발달로 인해 컴퓨팅 도구를 활용한 정보처리 수행 능력은 미래 사회에 지녀야 할 핵심 역량으로 꼽히고 있다. 특히 정보 교과에서의 프로그래밍 교육은 필수적이며, 2015 개정 교육과정의 ‘문제해결과 프로그래밍’ 영역은 2022 개정 교육과정에서 ‘알고리즘과 프로그래밍’ 이라는 명칭으로 변경되어 그 중요성이 확대되었다. 프로그래밍 교육에서 초보 학습자의 이해 부족과 낮은 성취는 지속적으로 지적되어 왔으며, 이를 보완하기 위한 교수·학습 방법과 도구의 개발이 요구되고 있다. 최근에는 ChatGPT와 같은 생성형 AI 기반 챗봇이 학습 지원 도구로 주목받고 있으나 구체적인 교수법과 결합하여 그 효과를 실증적으로 검증한 연구는 부족하다. 기존 연구들에서 ChatGPT의 교육 활용에 대해 학생들의 흥미 증진, 즉각적인 피드백 등 긍정적 영향을 제시하였으나 생성형 AI에 대한 지나친 의존, 사고력 저하 등의 부정적 영향도 제기되고 있다.
본 연구는 프로그래밍 교육에 효과적이라고 알려진 교수법과 ChatGPT를 활용한 수업이 프로그래밍 학습에 미치는 교육적 영향을 분석하고자 하였다. 본 연구의 구체적인 목적은 다음과 같다. 첫째, PRIMM 교수법이 적용된 ChatGPT 기반의 챗봇이 프로그래밍 성취도에 어떠한 영향을 미치는지 확인한다. 둘째, PRIMM 교수법이 적용된 ChatGPT 기반의 챗봇이 프로그래밍 흥미도에 어떠한 영향을 미치는지 확인한다. 셋째, PRIMM 교수법이 적용된 ChatGPT 기반의 챗봇을 활용한 학습 경험에 대한 학생들의 인식을 확인한다.
위 연구 문제를 해결하기 위해 일반고등학교 1학년 학생 38명을 대상으로 2주간(4차시) 파이선 프로그래밍 수업을 실시하였다. 실험집단은 교사가 개발한 PRIMM 교수법이 적용된 ChatGPT 기반 챗봇을 활용한 수업에 참여하였으며 통제집단은 무료버전의 ChatGPT를 활용하여 전통적 수업에 참여하였다. 프로그래밍 성취 수준은 사전·사후 검사를 통해 측정되었으며, 공분산분석(ANCOVA)을 통해 집단 간 차이를 검증하였다. 그 결과 실험집단이 통제집단에 비해 사후 검사 평균이 높았으나, 사전 검사의 영향을 배제한 공분산분석(ANCOVA) 실시 결과 두 집단간에 통계적으로 유의한 차이가 나타나지 않았다. 프로그래밍 흥미도는 다변량분석(MANOVA)을 통해 분석하였으며 흥미도 검사지를 구성하는 전체 9개의 요인 중 신뢰도에 문제를 줄 수 있는 2개 요인을 제거한 7개의 요인을 분석한 결과 1개 요인에서만 유의한 차이가 나타났다. ChatGPT 활용에 대한 학생들의 인식은 대체로 긍정적이었으나 응답의 명확성. 프롬프트 작성의 어려움과 함께 교사의 역할을 완전히 대체하기 어렵다는 응답을 확인할 수 있었다.
본 연구는 PRIMM 교수법과 ChatGPT를 결합한 생성형 AI 기반 교수학습 모델이 프로그래밍 학습 효과의 가능성을 보여주었다는 데 의의가 있다. 후속 연구에서는 장기간의 지속적인 효과를 관찰함과 동시에 시스템적 개선과 학습자의 개별적 요구에 대응할 수 있는 방안을 모색할 필요가 있다.

주요어 : ChatGPT, PRIMM 교수법, 프로그래밍 교육

다국어 초록 (Multilingual Abstract)

With the introduction of the 2022 revised national curriculum in Korea, the importance of the Information subject has become increasingly prominent, and the cultivation of digital literacy has been emphasized as a competency to be fostered across all subject areas. As AI, software, and various technological industries continue to advance, the ability to process information using computational tools has emerged as a core competency required in future society. In particular, programming education is essential within the Information subject, and the “Problem Solving and Programming” domain of the 2015 curriculum has been expanded and renamed “Algorithms and Programming” in the 2022 revision, further underscoring its educational significance. However, novice learners’ difficulties in understanding programming concepts and their relatively low levels of achievement have consistently been noted, highlighting the need for effective instructional methods and learning support tools. Recently, generative AI–based chatbots such as ChatGPT have gained attention as potential learning aids, yet empirical studies that examine their effects in conjunction with specific pedagogical frameworks remain limited. Although existing studies report positive effects of ChatGPT—such as increased interest and immediate feedback—concerns have also been raised regarding over-reliance on AI and potential reductions in learners’ cognitive engagement.
This study examines the educational effects of combining ChatGPT with a pedagogical approach known to be effective in programming education. Specifically, the purposes of the study are: (1) to investigate the effects of a ChatGPT-based chatbot utilizing the PRIMM instructional method on students’ programming achievement; (2) to examine its effects on students’ programming interest; and (3) to explore students’ perceptions of their learning experiences using the PRIMM-based ChatGPT chatbot.
To address these research questions, Python programming lessons were conducted over two weeks (four class sessions) with 38 first-year high school students. The experimental group participated in a lesson using a ChatGPT-based chatbot designed by the teacher and aligned with the PRIMM method, while the control group engaged in traditional lessons using the free version of ChatGPT. Programming achievement was measured through pre- and post-tests, and group differences were examined using ANCOVA. Although the experimental group demonstrated higher post-test mean scores than the control group, ANCOVA results indicated no statistically significant differences between the groups when controlling for pre-test scores. Programming interest was analyzed through MANOVA, and among the seven factors comprising the interest scale, only one factor showed a statistically significant difference. Students’ perceptions of the ChatGPT-supported learning experience were generally positive; however, some noted limitations such as ambiguity in the chatbot’s responses, difficulties in formulating effective prompts, and the view that ChatGPT cannot fully replace the role of the teacher.
This study contributes to the field by demonstrating the potential effectiveness of a generative AI–based instructional model that integrates the PRIMM method with ChatGPT in programming education. Future research should examine the long-term impact of such approaches and explore system-level improvements and strategies to better address individual learners’ needs.

Keywords: ChatGPT, PRIMM, programming education, Informatics, learning achievement

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1. 연구의 필요성 및 목적 1
• 2. 연구 문제 2
• 3. 연구의 기대 효과 3
• 4. 연구의 제한점 4
• Ⅱ. 이론적 배경 5
• 1. ChatGPT 5
• 가. ChatGPT의 개념 5
• 나. ChatGPT 모델 6
• 다. ChatGPT의 교육적 활용 8
• 2. 프로그래밍 교육 9
• 가. 국가 교육과정 9
• 나. 프로그래밍 언어 13
• 다. ChatGPT 활용 프로그래밍 교육 16
• 3. PRIMM 교수법 20
• 가. PRIMM 교수법의 개념과 단계 20
• 나. PRIMM 교수법의 교육적 효과 22
• Ⅲ. 연구방법 25
• 1. 연구대상 25
• 2. 연구설계 26
• 3. 연구절차 27
• 가. 사전 준비 단계 27
• 나. 실험 설계 36
• 4. 검사도구 38
• 가. 사전·사후 검사 38
• 나. 프로그래밍 흥미도 검사 41
• 다. 심층 면담 44
• 5. 자료의 분석 45
• Ⅳ. 연구 결과 46
• 1. PRIMM 교수법이 적용된 ChatGPT 기반 챗봇이 프로그래밍 성취에 미치는
• 영향 46
• 2. PRIMM 교수법이 적용된 ChatGPT 기반 챗봇이 프로그래밍 흥미도에
• 미치는 영향 48
• 3. PRIMM 교수법이 적용된 ChatGPT 기반 챗봇을 활용한 학습 경험에 대한
• 학생들의 인식 51
• 가. 실험집단 심층 면담 결과 52
• 나. 통제집단 심층 면담 결과 55
• Ⅴ. 결론 및 제언 57
• 1. 결론 57
• 2. 제언 58
• 참고문헌 61
• Absdtract 66
• [부록 1] 교수학습 지도안 69
• [부록 2] 프로그래밍 흥미도 검사지 문항 77
• [부록 3] 프로그래밍 사전 검사지 80
• [부록 4] 프로그래밍 사후 검사지 84
• [부록 5] 챗봇 개발에 사용된 시스템 프롬프트 89
• [부록 6] 실험집단 면담 질문지 91
• [부록 7] 통제집단 면담 질문지 92