중등 과학교육용 챗봇 대화 로그 기반의 학생 연속 질의응답 분석 = An Analysis of Students’ Multi-turn Q?A Based on Conversation Logs from a Middle School Science Education Chatbot

다국어 초록 (Multilingual Abstract)

Although a growing body of research reports positive effects of AI chatbots on learning support, some studies caution that learners may rely on chatbot answers in a fragmented manner, potentially weakening conceptual understanding and critical thinking. Against this backdrop, the present study investigated whether students can actively construct knowledge in a science-education chatbot environment. To this end, we analyzed students’ question types and question–answer interactions in a science chatbot and compared the resulting patterns with findings and interpretations from prior studies.
The dataset consisted of log-based conversation records collected over approximately one year from a single high school, comprising 7,907 question–answer pairs across 2,419 user sessions. Among these, single-turn exchanges accounted for 66.4%, whereas multi-turn sequences occurred in 33.5% of sessions: 2-turn (16.5%), 3-turn (7.3%), 4-turn (4.1%), 5-turn (2.1%), and 6+ turns (3.6%). For question-type analysis, we adopted the coding framework proposed by Kim (1998). For interaction analysis, we applied the Interaction Analysis Model (IAM) developed by Gunawardena et al. (1997). To establish reliability, two researchers independently coded a subset of the data, achieving Cohen’s kappa values of 0.70 and 0.64, after which the remaining data were coded by the primary researcher.
Across all 7,907 questions, the distribution of question types was as follows: Recall (31.5%), Reframe (8.4%), Apply (4.7%), Extend (8.8%), Contradiction (5.6%), and Irrelevant (38.0%). In addition, a novel category emerged in which students requested the generation of supplementary learning resources (3.0%), which was coded as Request. Compared with prior research analyzing student questions in classroom settings (Recall: 23.2%; Contradiction: 3.4%), the proportions of Recall and Contradiction were higher in the chatbot environment, suggesting that students may find it easier to externalize knowledge gaps and inconsistencies as questions outside the classroom context.
For the first question in single-turn exchanges and in multi-turn sequences, the distribution was Recall (65.8%), Reframe (13.0%), Apply (6.9%), Extend (4.2%), Contradiction (5.2%), and Request (4.9%). Beyond the second turn, question types shifted systematically by turn. The proportion of Recall gradually decreased to 21.5% in 6+ turns, whereas Contradiction increased to 23.8% in 6+ turns. Extend rose sharply at the second turn and remained high (24.5%–32.6%) thereafter. These patterns suggest that students did not merely accept chatbot answers dependently; rather, they increasingly expressed inconsistencies and pursued elaboration, indicating attempts at active knowledge construction during multi-turn interaction.
For IAM-based interaction analysis, we examined 2,813 analyzable question–answer exchanges drawn from 490 sessions with five or more turns (excluding unanalyzable questions). The distribution across IAM phases was Phase 1 (48.9%), Phase 2 (26.7%), Phase 3 (20.1%), Phase 4 (3.2%), and Phase 5 (1.2%). Compared with prior studies of human–human online interaction (Phase 2: 2.4%–20.6%; Phase 3: 1.9%–12.7%; Phase 4: 0%–1.0%), Phases 2–4 were higher in the chatbot context, implying more frequent attempts at social knowledge construction within question–answer interaction. However, Phase 5 showed no meaningful difference from prior studies (0%–1.9%), suggesting that reaching a level of negotiated agreement and application remains difficult even in chatbot-mediated interaction.
Overall, the findings indicate that the chatbot environment may facilitate students’ question expression and holds potential as an interactive tool that supports active knowledge construction. Nevertheless, the study is limited by the restricted scope of the sample and by the use of an analytic framework not specifically optimized for chatbot contexts, which constrains interpretive validity. Future research should develop and validate question analysis frameworks tailored to chatbot-based learning environments.

국문 초록 (Abstract)

인공지능 챗봇의 학습 지원 효과와 관련하여 긍정적인 연구들이 보고되고 있지만, 일부 연구에서는 챗봇 답변에 학습자가 단편적으로 의존하면서 개념 이해 및 비판적 사고 역량이 저하될 수 있다는 우려를 제기하고 있다. 이에 본 연구에서는 과학교육용 챗봇 환경에서 학습자가 능동적으로 지식을 구성할 수 있는지 가능성을 탐색하고자 하였다. 이를 위하여 과학교육용 챗봇에 입력된 질문의 유형과 질의응답 상호작용을 분석하고, 이를 선행 연구들에서의 결과 및 해석과 비교하였다.
본 연구의 분석 대상은 약 1년간 고등학교 1개 교에서 학생들이 과학교육용 챗봇을 사용한 로그 기반의 대화 기록으로, 총 2,419회의 접속에서 이루어진 7,907쌍의 질의응답 자료이다. 이 중 질의응답이 같은 맥락에서 연속으로 일어나지 않은 ‘1회’ 질의응답은 66.4%, 연속 횟수가 ‘2회’, ‘3회’, ‘4회’, ‘5회’, ‘6회 이상’인 연속 질의응답은 각각 16.5%, 7.3%, 4.1%, 2.1%, 3.6% 나타났다.
질문 유형을 분석하기 위하여 김성근(1998)이 사용한 질문 분석 틀을 사용하였으며, 질의응답 상호작용을 분석하기 위하여 Gunawardena 등(1997)이 제시한 IAM(Interaction Analysis Model)을 사용하였다. 분석의 신뢰도 확보를 위해 자료 일부를 두 연구자가 독립 분류한 뒤, 각각 0.70, 0.64의 Cohen’s kappa를 확보한 후 본 연구자가 마저 분류하였다.
질문의 유형 분석에서는 7,907개 전체 질문을 분류하였으며 ‘회상’, ‘재구성’, ‘적용’, ‘확장’, ‘모순’, ‘무관련’이 각각 31.5%, 8.4%, 4.7%, 8.8%, 5.6%, 38.0%로 나타났다. 챗봇 환경에서는 학습에 필요한 추가 자료 생성을 요청하는 새로운 유형의 질문이 3.0% 나타나, ‘요청’으로 추가 분류하였다. 본 연구에서의 ‘회상’과 ‘모순’은 교실 환경의 학생 질문을 분석한 선행 연구에서의 ‘회상(23.2%)’과 ‘모순(3.4%)’에 비해 높게 나타났다. 이는 챗봇 환경이 교실 환경에 비해 지식 부족 및 불일치를 질문으로 드러내기 쉬운 환경이었던 것으로 해석할 수 있다.
‘1회’ 질의응답과 연속 질의응답의 첫 번째 질문에서는 ‘회상’, ‘재구성’, ‘적용’, ‘확장’, ‘모순’, ‘요청’이 각각 65.8%, 13.0%, 6.9%, 4.2%, 5.2%, 4.9%로 나타났다. 연속 질의응답 2회차 이후에서는 회차에 따라 유형 변화가 나타났다. ‘회상’은 6회차 이상에서 21.5%까지 비율이 점차 줄어들고, ‘모순’은 6회차 이상에서 23.8%까지 비율이 점차 증가하는 경향을 보였다. ‘확장’은 2회차에서 큰 폭으로 증가하여 24.5% ~ 32.6%의 비율을 유지하였다. 이는 학생이 챗봇과의 연속 질의응답 과정에서 챗봇의 답변 내용을 의존적으로만 수용하지 않고, 지식의 불일치 표현 및 지식 확장 질문을 통하여 능동적으로 지식을 구성하려는 시도로 해석할 수 있다.
챗봇과의 상호작용 분석에서는 5회 이상 질의응답이 이루어진 490회의 접속 기록에서 분석 불가능한 질문을 제외한 총 2,813회의 질의응답을 분석하였다. 상호작용 분석 결과 Phase 1부터 Phase 5까지의 비율이 각각 48.9%, 26.7%, 20.1%, 3.2%, 1.2%로 나타났다. 본 연구의 Phase 2, Phase 3, Phase 4는 사람 간 온라인 상호작용을 분석한 선행 연구들에서의 Phase 2 (2.4% ~ 20.6%), Phase 3 (1.9% ~ 12.7%), Phase 4 (0% ~ 1.0%)에 비해 높았다. 이는 사람 간 온라인 상호작용에 비해 챗봇과의 질의응답 맥락에서 사회적 지식 구성 시도가 더 빈번히 일어나는 것으로 해석할 수 있다. 그러나 본 연구에서의 Phase 5는 선행 연구들에서나타난 비율(0% ~ 1.9%)과 유의한 차이가 없어, 챗봇과의 상호작용에서도 지식의 합의 수준까지 도달하기는 어려운 것으로 해석할 수 있다.
본 연구에서는 챗봇 환경이 학생의 질문 발현을 높이고 능동적 지식 구성을 위한 상호작용 도구로서의 가능성을 확인하였다. 하지만 분석 대상의 범위가 국한되어 결과를 일반화하기 어려우며, 챗봇 환경에 최적화된 질문 분석 틀로 분석하지 않아 해석의 타당도가 부족하다. 따라서 챗봇 환경에서의 질문 분석 틀과 관련하여 추가 연구가 필요하다.

목차 (Table of Contents)

• 제 1 장 서론 1
• 1.1 연구의 필요성 1
• 1.2 연구 목적 및 연구 문제 3
• 1.3 연구 과정 개요 3
• 1.4 용어의 정의 4
• 제 2 장 이론적 배경 9
• 2.1 챗봇의 교육적 효과 9
• 2.1.1 챗봇의 발전과 교육적 효과 10
• 2.1.2 LLM 기반 챗봇의 효과와 한계 10
• 2.2 과학교육용 질의응답 챗봇 13
• 2.2.1 과학교육용 챗봇의 설계와 기능 13
• 2.2.2 학교 현장에서의 과학 Q&A 챗봇 사례 14
• 2.2.3 과학교육용 질의응답 챗봇 연구에서의 한계 15
• 2.3 과학교육에서 학생 질문에 대한 연구 16
• 2.3.1 학생 질문의 교육적 역할 16
• 2.3.2 교실 과학수업에서의 학생 질문 연구 17
• 2.4 온라인 상호작용과 사회적 지식 구성 19
• 2.4.1 온라인 토론과 사회적 지식 구성 19
• 2.4.2 IAM Phase 최고 도달 단계 분석 20
• 2.4.3 챗봇과 사회적 지식 구성 22
• 제 3 장 연구 방법 24
• 3.1 자료 수집 방법 24
• 3.2 자료 분석 방법 24
• 3.2.1 자료 준비 24
• 3.2.2 질문 유형 분류 25
• 3.2.3 상호작용 유형 분류 27
• 3.2.4 분류의 신뢰성 확보 30
• 제 4 장 연구 결과 및 논의 32
• 4.1 교실 환경과의 학생 질문 유형 비교 32
• 4.1.1 챗봇 환경에서의 학생 질문 유형 32
• 4.1.2 교실 환경에서의 선행 연구와 질문 유형 비교 51
• 4.2 연속 질의응답의 회차별 질문 유형 비교 53
• 4.3 챗봇 환경에서 상호작용 분석 61
• 4.3.1 챗봇 환경에서 이루어진 질의응답 상호작용 분석 61
• 4.3.2 사람 간 온라인 상호작용 분석 선행 연구와의 비교 70
• 제 5 장 결론 및 제언 75
• 5.1 요약 및 결론 75
• 5.2 연구의 한계 및 제언 76
• 참고문헌 78
• Abstract 86