중학교 과학 탐구에서 GPT ‘조언자 역할’이 학생 질문 특성에 미치는 영향 : 질문 유형·수준·연계성의 비교 분석 = The Effect of GPT ‘Advisor Role’ on Student Question Characteristics in Middle School Science Inquiry:Comparative analysis of question types, levels, and relevance

다국어 초록 (Multilingual Abstract)

Students’ questions posed during science inquiry stimulate higher‑order thinking and can steer the direction of an investigation. Yet, in many classroom settings these questions remain limited to a narrow set of low‑level forms, underscoring the need for instructional approaches that elicit a broader spectrum of inquiries at deeper cognitive levels. Supporting students in formulating diverse, sophisticated questions across varied inquiry contexts is therefore essential.
Recent advances in generative artificial intelligence (AI) have positioned large language models such as GPT not merely as tools but as collaborative partners that can facilitate dialogic learning and provide tailored feedback aligned with individual learners’ abilities. Within science education, studies on GPT‑supported instruction have begun to emerge, highlighting its potential to reduce students’ psychological burden when asking questions, enhance interaction, and improve access to inquiry‑related questioning. By embedding persona‑based prompt engineering, educators can assign specific roles to GPT (e.g., “advisor”), which may positively influence the type, level, and connectivity of students’ questions.
However, empirical research examining how such role‑based GPT designs affect question characteristics in science inquiry remains scarce. Since 2023, existing studies have largely focused on simple question generation or limited information‑seeking interactions, with restricted scopes and a lack of comprehensive analyses of question characteristics. Moreover, investigations into how assigning a role to GPT alters these characteristics are minimal, warranting deeper exploration.
This study compares the impact of assigning an “advisor role” to GPT on students’ question characteristics during middle‑school science inquiry. Specifically, a custom GPTs chatbot—released by OpenAI in November 2023—was designed via prompt engineering to serve as an advisor. Two grade‑eight classes in Seoul studied the “Hazards and Disasters” unit over five inquiry sessions using the GPT‑4o model: the experimental group interacted with the tailored advisor chatbot, while the comparison group used an unmodified GPT‑4o. Mixed‑methods research integrated quantitative analysis of student questions with qualitative thematic analysis of student experiences.
For the quantitative strand, question types were coded using an adapted framework from Chin & Brown (2002) and Son (2023); connectivity was classified with the scheme of Jeong et al. (2023). Chi‑square tests compared distributions between groups. Question levels were assessed with Cuccio‑Shirripa’s (1997) rubric, and Mann–Whitney U tests identified group differences. Two science‑education experts corroborated the coding; inter‑rater reliability was confirmed via Fleiss’ κ and Krippendorff’s α. Sixteen students participated in post‑inquiry interviews, which were analyzed thematically following Braun & Clarke (2006). Trustworthiness of the qualitative and mixed‑methods interpretations was ensured through expert review, member checks, and audit trails.
Results indicated that the experimental group exhibited a significantly higher proportion of investigable questions, evidencing greater diversity, whereas the comparison group’s questions clustered around basic factual information. Neither group produced “anomaly‑detection” questions that resolve cognitive conflicts. Average question level in the experimental group was marginally higher, but the effect size was negligible; both groups’ median corresponded to Level 2 (descriptive/explanatory). Level 4 (specific investigative) questions were absent in both groups, and subordinate derivative questions predominated. Connectivity was significantly greater in the advisor group, reflecting increased generation of derivative questions linked to prior inquiries, yet these too were chiefly subordinate.
Thematic analysis showed a higher proportion of students perceiving GPT as an advisor in the experimental group, attributing this to GPT’s contextual understanding and systematic feedback. Students viewing GPT merely as a tool cited its limited use for data gathering and concerns over hallucinations and unclear sources. Across groups, GPT was most helpful in early inquiry stages (hypothesis formation, data collection), with fewer mentions at higher‑order stages. Reported limitations included GPT errors as well as user‑side issues such as ineffective prompting and limited metacognition about one’s own questions.
In sum, assigning an advisor role to GPT positively influenced the diversity and connectivity of student questions but had limited effect on qualitative depth. While reduced questioning anxiety increased question frequency, it did not directly elevate question level. Students’ recognition of AI as an advisor grew, yet user competencies in prompt formulation constrained deeper engagement. These findings imply that teacher‑designed AI role configurations and timely pedagogical interventions remain crucial for fostering higher‑quality questioning.
Study limitations include the modest interview sample (n = 16), the focus on a single unit, and the short five‑session duration, which restricted longitudinal tracking of question trajectories. Nonetheless, this research offers timely empirical evidence by designing and implementing a role‑based GPT chatbot to enhance questioning in middle‑school science inquiry and provides concrete guidelines for AI‑supported instructional design.
Recommendations are as follows: (1) professional development for teachers on AI role design and prompt‑engineering competence; (2) student training in effective prompt writing and metacognitive awareness of question characteristics; and (3) future studies that conduct long‑term, individual‑level tracking and compare multiple AI models and subject areas to verify the generalizability of AI‑based questioning pedagogy.

국문 초록 (Abstract)

과학 탐구 과정에서 제기되는 학생의 질문은 사고를 자극하고, 탐구의 방향성을 제안할 수 있다. 기존 교육 환경에서 학생 질문 활동은 단순한 유형으로 편중되는 문제가 많아서, 실제 탐구를 위한 수준으로 발전시키기 위한 노력이 필요하다. 따라서, 다양한 과학 탐구 상황에서 학생의 질문 형성을 유도하고, 수준을 강화할 수 있도록 지원하는 것은 매우 중요하다.
한편, 최근 생성형 AI는 학생의 역량을 고려하여 대화형 학습 촉진 및 맞춤형 피드백을 통해 단순한 도구를 넘어, 협력적 교수학습 파트너로서 자리매김하고 있다. 과학교육에서도 생성형 AI 중 하나인 GPT를 활용한 수업과 효과성에 관한 연구가 진행되고 있다. GPT는 학생들의 심리적 질문 부담감을 낮추고, 상호작용을 강화하여, 과학 탐구 전반에 걸쳐 질문 접근성을 높여줄 수 있다. 또한, GPT는 맞춤형 설계를 통해 페르소나(역할)을 부여할 수 있는데, 이러한 역할 부여는 과학 탐구에서 질문의 유형과 수준, 연계성에 긍정적인 영향을 유도할 수 있다.
그러나 과학 탐구에서 앞서 언급한 질문 특성(유형, 수준, 연계성)에 영향을 줄 수 있는 GPT 설계를 도입했을 때, 이러한 결과로 나타날 수 있는 질문 특성에 관한 연구가 매우 부족하다. 2023년 이후, 관련된 연구는 주로 단순 질문 생성 또는 특정 정보 수집 상호작용에 국한되었고, 대상과 범위가 한정적이며, 질문 특성 전반에 관한 종합적인 분석이 이루어지지 않았다. 또한, GPT 역할 부여에 따른 질문 특성 연구가 미미하여, 과학 탐구에서 GPT 역할 설계에 따라 학생 질문 특성에 미치는 영향에 대한 심도 있는 연구가 필요하다.
이에 본 연구에서는 과학 탐구 과정에서 GPT에 ‘조언자 역할’을 부여하여, 이러한 GPT 설계가 학생들의 질문 특성에 미치는 영향을 비교 분석한다. 이를 통해 GPT의 교육적 가능성과 한계를 논의함을 목적으로 한다. 구체적으로, OpenAI가 2023년 11월 출시한 GPTs 맞춤형 챗봇에 프롬프트 엔지니어링(Prompt engineering)을 통한 ‘조언자 역할’을 설계한다. 해당 챗봇 사용 여부에 따라 과학 탐구에서 학생 질문 역량을 높이고, 상호작용 과정에서 나타난 경험과 GPT에 대한 인식을 종합적인 측면에서 접근하고자 한다. 연구 목적의 달성을 위해 연구 문제는 3가지로 설정하였다. GPT에 ‘조언자 역할’ 부여 여부에 따라 과학 탐구 과정에서 집단별(실험집단과 비교집단) 1) 학생들의 질문 유형과 수준에 차이가 있는지, 2) 질문 연계성은 더 나아지는지, 3) GPT를 활용할 때 학생들의 경험은 어떠한지 알아보고자 한다.
본 연구는 과학 탐구 과정에서 수집된 학생들의 질문을 분류틀에 따라 양적 분석하고, 이와 관련하여 GPT-학생 상호작용 과정에서 나타난 학생 경험을 질적 주제 분석하는 혼합 연구법(Mixed methods)으로 진행되었다. 서울 소재 중학교 2학년 대상 ‘재해와 재난’ 단원에서, 모둠별 GPT-4o 모델을 사용했다. 실험집단만 ‘조언자 역할’ 맞춤형 챗봇을 활용하고, 비교집단은 설계되지 않은 GPT-4o를 사용했다. 5차시 과학 탐구 과정에서 질문 자료를 수집하고, 전체 탐구 종료 후 학생 심층 인터뷰를 수행했다.
양적 분석을 위해 질문 유형은 Chin & Brown(2002)과 손미현(2023)의 분석틀을 수정 및 보완해서 분류하고, 연계성은 정수임 외(2023) 질문 연계성 분류틀 사용하여 분류했다. 이때 질문 유형과 연계성은 x2 검정을 실시하여 실험집단과 비교집단을 비교 분석하였다. 질문 수준은 Cuccio-Schirripa(1997)의 질문 수준 분류틀을 활용하고, Mann-Whitney U 검정으로 집단별 유의미한 차이를 확인하였다. 학생 인터뷰는 질적 분석으로, Braun & Clarke(2006)의 주제 분석(Thematic Analysis) 방법을 활용했다. 연구 과정에서 질문 분류는 과학교육 전문가 2인과 함께 진행하였으며, 분류 일치도는 플레이스 카파(Fleiss’ Kappa), 크리펜도르프 알파 계수(Krippendorff’s Alpha)로 확인했다. 질적 분석과 혼합 연구법 해석에 따른 타당도 검증은 질적 연구 전문가 1인, 질적 연구 경험이 있는 박사과정생 2인과 교육공학 전문가 1인의 전반적인 검토가 이루어졌다. 또한, 질적 연구 타당도 확보는 참여자 확인과 전문가 검토 및 감사 추적을 실시하여 확보했다. 혼합 연구법에 따른 분석은 양적 분석 결과를 질적 분석 결과로 상보적으로 통합하여 해석하는 방식으로 이루어졌다.
본 연구의 결과, 질문 유형은 GPT ‘조언자 역할’ 부여 집단에서 탐구가능 질문 비율이 유의미하게 높게 나타나, 질문 유형의 다양성 확장을 확인했다. 비교집단은 기본정보-사실 유형에 대부분 편중되어 있었으며, 두 집단 모두 탐구가능 질문 중 인지갈등을 해소하는 ‘이상탐지’ 유형은 부재했다. 학생 질문 수준은 맞춤형 챗봇을 활용한 실험집단에서 평균이 소폭 높았으나, 효과 크기는 미미했다. 두 집단의 질문 수준 중앙값은 설명과 기술을 나타내는 ‘수준 2’로 동일했다. 또한, 두 집단 모두, 구체적 탐구 질문인 ‘수준 4’는 관찰되지 않았으며, 선행 질문에서 답변의 세부 내용을 구체화하는 방향인 하위형 질문에 편중되었다.
질문 연계성은 GPT ‘조언자 역할’ 부여 집단에서 유의미하게 높게 나타나, 맞춤형 GPT와의 상호작용에서 선행 질문과 관련되는 파생형 질문 비율 증가를 확인했다. 다만, 두 집단 모두 선행 질문과 GPT 답변을 기반으로 세부 내용을 구체화하는 파생형 질문의 하위형 질문에 편중되었다.
학생 인터뷰의 주제 분석 결과, GPT에 대한 역할 인식은 실험집단에서 GPT를 조언자로 인식하는 비율이 비교집단보다 높게 나타났다. GPT를 조언자로 인식한 학생들은 GPT의 맥락 이해와 체계적인 피드백 제공을 이유로 들었으며, 도구로 인식하는 경우는 자료 수집 도구로써의 한정된 사용과 환각 현상, 출처 불분명 등 신뢰성 문제로 나타났다. 학생들은 GPT를 탐구 과정에 사용할 때, 두 집단 모두 가설 설정, 자료 수집 등 탐구 과정의 초기 단계에서 도움을 많이 받았다고 응답했으나, 고차적 탐구 단계에서의 도움 언급 비율은 낮았다. 마지막으로, GPT를 활용하는 과정에서 느낀 한계점은 GPT 오류(환각 현상) 외에 사용자 측면의 한계(프롬프트 사용법, 본인 질문에 대한 메타인지 부족)로 나타났다.
결론적으로, GPT에 ‘조언자 역할’을 부여했을 때, 학생 질문의 유형 다양화 및 연계성 강화에는 긍정적 영향을 미쳤으나, 질문 수준의 질적 심화에는 제한적이었다. 심리적 질문 부담감 감소는 전체 질문 수의 증가에는 영향을 주었으나, 수준 향상으로 직결되지 않았다. 또한, 학생들이 AI를 조언자로 인식하는 경향이 증가했으나, 프롬프트 이해와 사용 역량 등 사용자 측면의 한계가 활용 깊이를 제약했다. 이에 따라 질문 역량의 질적 향상을 위해서는 교사의 AI 활용 수업 설계와 탐구 단계별 시의적절한 개입이 필요함을 시사한다.
본 연구의 한계점은 다음과 같다. 첫째, 주제 분석을 위한 학생 인터뷰는 총 16명으로 질적 분석 결과를 일반화하기에는 주의가 필요하다. 둘째, 과학 탐구가 특정 단원에 초점을 맞추어 연구 맥락을 제한했으며, 셋째, 5차시 짧은 탐구 수업 진행으로, 학생의 질문 특성의 궤적을 충분히 추적하는 데 한계가 있었다.
이러한 한계점에도 불구하고, 본 연구는 중학교 과학 탐구에서 GPT에 질문 역량을 높일 수 있는 맞춤형 챗봇을 설계하여, 질문 특성의 변화를 실증적인 관점에서 규명한 시의적절한 연구이다. 협력적 조언자로서 AI에 역할을 부여하여 효과성을 확인했고, 양적 분석 결과와 학생의 경험을 입체적으로 제시하여 AI 활용 수업 설계의 구체적 지침을 제공한다.
본 연구를 바탕으로 다음과 같이 제언한다. 첫째, 교사는 학생들의 질문 역량을 높이기 위해 AI 역할 설계 및 맞춤형 활용 역량(프롬프트 엔지니어링) 함양을 위한 연수가 필요하다. 둘째, AI와 접목한 탐구 수업 상황에서 학생들은 효과적 프롬프트 작성법 및 본인의 질문 특성에 대한 메타인지 교육이 강화되어야 한다. 마지막으로, 후속 연구에서는 장기·개별 질문 추적과 다양한 AI 모델·교과 비교를 통해 AI 기반 질문 교육의 범용성을 검증할 필요가 있다.

목차 (Table of Contents)

• Ⅰ. 서 론 1
• 1. 연구의 필요성 및 목적 1
• 2. 연구 문제 6
• 3. 용어 정의 7
• Ⅱ. 이론적 배경 9
• 1. 과학 탐구와 학생 질문의 중요성 9
• 가. 과학 탐구의 개념 및 교육적 가치 9
• 나. 과학 탐구에서 학생 질문의 역할 10
• 2. 학생 질문 특성 분석 10
• 가. 질문 유형 10
• 나. 질문 수준 14
• 다. 질문 연계성 15
• 3. 과학 탐구에서 생성형 AI(GPT) 활용 16
• 가. 생성형 AI의 특성과 교육적 가능성 16
• 나. 과학 탐구에서 GPT를 활용한 사례 16
• 4. 과학 탐구에서 GPT 활용한 질문 촉진과 ‘조언자 역할’ 챗봇 설계 17
• 가. 과학 탐구에서 GPT가 학습자 질문에 미치는 영향 17
• 나. GPT ‘조언자 역할’ 부여를 위한 맞춤형 챗봇 설계 18
• Ⅲ. 연구 방법 23
• 1. 연구 대상 23
• 2. 수업 맥락 23
• 3. 연구 절차 24
• 4. 자료 수집 26
• 5. 자료 분석 27
• 가. 질문 유형 분석 28
• 나. 질문 수준 분석 29
• 다. 질문 연계성 분석 29
• 라. 질문 분석의 신뢰도와 타당도 30
• 마. 학생 인터뷰 분석 31
• 바. 학생 인터뷰 주제 분석의 타당도 확보 33
• 사. 혼합 연구 분석을 위한 통합 단계 34
• Ⅳ. 연구 결과 35
• 1. 질문 유형에 대한 양적 분석 결과 36
• 2. 질문 수준에 대한 양적 분석 결과 38
• 3. 질문 연계성에 대한 양적 분석 결과 40
• 4. 학생 인터뷰에 대한 질적 주제 분석 결과 44
• 가. 제 1 주제: GPT 사용 과정에서 질문 부담감 45
• 나. 제 2 주제: GPT 사용 과정에서 질문 특성의 변화 48
• 다. 제 3 주제: GPT에 대한 역할 인식 55
• 라. 제 4 주제: GPT 사용 과정에서 느낀 한계 58
• 마. 제 5 주제: 과학 탐구에서 GPT 활용할 때 받은 도움 59
• Ⅴ. 논의 및 결론 62
• 1. 논의 62
• 가. 질문 유형 및 수준의 변화에 대한 논의 62
• 나. 질문 연계성의 변화에 대한 논의 64
• 다. GPT에 대한 역할 인식 및 탐구 과정 도움에 대한 논의 65
• 2. 결론 및 제언 68
• 가. 결론 68
• 나. 제언 71
• 참고문헌 74
• Abstract 83