고등학교 수학 학습에서 질문 명료화를 지원하는 AI에이전트 개발 및 효과성 분석 : 고등학교 2학년 수학적 귀납법 단원 중심으로 = Development and Effectiveness Analysis of AI Agent Supporting Question Clarification in High School Mathematics Learning: Focusing on Mathematical Induction

다국어 초록 (Multilingual Abstract)

Despite the widespread adoption of generative AI in education, poor question quality hinders effective learning. A pilot study (n=385) found that 72.3% of student questions lacked learning context, and current immediate-answer approaches (termed "Freepass" mode) fail to support students' thinking processes. Question quality strongly correlated with answer quality (r=0.691, p<0.001), indicating that question clarification is a key mechanism for improving learning outcomes.
This study designed and developed MAICE (Mathematical AI Chatbot for Education), a multi-agent system based on Dewey's reflective thinking theory (1910) and Bloom's knowledge taxonomy (Anderson & Krathwohl, 2001). MAICE employs five independent AI agents (QuestionClassifier, QuestionImprover, AnswerGenerator, LearningObserver, FreeTalker) that collaborate to classify questions into Bloom's K1-K4 types (factual-conceptual-procedural-metacognitive knowledge), systematically clarify unclear questions following Dewey's five-stage reflective thinking process, and provide differentiated answers tailored to question types.
Methods: Fifty-eight grade 2 high school students were randomly assigned to Agent mode (clarification-included, n=28) or Freepass mode (immediate-answer only, n=30) in a three-week A/B test (October 20-November 8, 2025; 284 valid sessions). To mutually complement methodological limitations, we employed dual evaluation: LLM evaluation (N=284) for large-scale pattern detection and teacher evaluation (N=100) for educational validity verification. A QAC (Question-Answer-Context) checklist with 8 items (40 points) was evaluated by three independent AI models (Gemini-2.5-Flash, Claude-4.5-Haiku, GPT-5-mini) and two external mathematics teachers. Inter-rater reliability: LLM ICC(3,k)=0.872 (good), teachers ICC(3,k)=0.739 (moderate), with a strong correlation between methods (r=0.754, p<0.001) confirming the validity of the dual evaluation approach. While LLM scores were systematically higher (+5.46 points) than teacher scores, the high internal consistency of the LLM confirmed its suitability as a complementary tool for relative comparison.
Results: Through LLM-teacher dual evaluation and qualitative analysis (1,589 dialogue logs), clarification effects were confirmed. (1) LLM evaluation (N=284, 3-model average): Agent mode showed significant superiority in C2 (learning support) (+0.28 points, p=0.004, d=0.353) with very large effects for lower-achievers (Q1 C2: **p<0.001**, d=0.855). (2) **Teacher evaluation (N=100)**: Agent mode showed the same directional pattern with significant differences in the answer domain (+1.28 points, **p=0.017**, d=0.488) and very large effects for Q1 (overall: +6.32 points, **p=0.013**, d=0.992). High LLM-teacher correlation (r=0.754) confirmed complementary evaluation is viable. (3) **Qualitative analysis (1,589 dialogue logs)**: Six high-scoring sessions (32-34 points) all included Bloom's higher knowledge dimensions (K2-K4). Session 156 (Q1 lower-achiever, 34.33 points, 1st place) showed three-stage knowledge progression (K2→K3→K4) and attempted all five Dewey stages, confirming the qualitative mechanism of lower-achiever effects. LLM evaluation scores were supported by teacher evaluation (r=0.754), Bloom/Dewey theoretical coherence, and student self-assessment convergence for educational validity. (4) Student survey (N=47): High satisfaction with AI interaction quality (4.37/5.0), concept understanding (4.39/5.0), and system satisfaction (4.62/5.0). A/B preference analysis (N=44) showed 68.4% preferred clarification approach.
Conclusions: Question clarification processes enhance learning support, particularly showing short-term effects for lower-achieving students (Q1 C2: d=0.855). As exploratory evidence from a specific context (grade 2, mathematical induction, SW-specialized high school), this study demonstrated the feasibility of implementing Dewey's theory in AI systems. The study presented a complementary LLM-teacher dual evaluation model combining large-scale pattern detection with expert validation, and an extensible teacher-collaborative research platform. Key limitations: (1) limited to a specific context (grade 2, mathematical induction, SW-specialized high school with extensive AI experience), (2) system design limitations (insufficient learning context collection, single-turn session issues, metacognitive ability prerequisite), (3) evaluation constraints (rubric ambiguity, AI evaluation circularity, teacher sample N=2/100), and (4) response bias in student surveys. Replication studies across diverse contexts are needed.
Keywords: question clarification, AI agent, reflective thinking, mathematical induction, multi-agent system, Dewey, educational gap reduction, teacher-led research, prompting design

국문 초록 (Abstract)

교육 현장에 생성형 AI의 도입이 확산되고 있음에도 불구하고, 학생들의 낮은 질문 품질은 효과적인 학습을 저해하는 요인으로 지적된다. 본 연구의 예비 조사(n=385) 결과, 학생 질문의 72.3%가 학습 맥락을 결여하고 있으며, 현재의 즉시 답변 방식(Freepass 모드)은 학생들의 사고 과정을 충분히 지원하지 못하는 것으로 나타났다. 특히 질문 품질과 답변 품질 간의 강한 양의 상관관계(r=0.691, p<0.001)는 질문 명료화가 학습 성과를 향상시키는 핵심 기제임을 시사한다.
본 연구는 Dewey의 반성적 사고 이론(1910)과 Bloom의 지식 분류학(Anderson & Krathwohl, 2001)을 기반으로 다중 에이전트 시스템인 MAICE(Mathematical AI Chatbot for Education)를 설계 및 개발하였다. MAICE는 5개의 독립적인 AI 에이전트(QuestionClassifier, QuestionImprover, AnswerGenerator, LearningObserver, FreeTalker)가 협업하여 학생의 질문을 Bloom의 K1-K4(사실적-개념적-절차적-메타인지적 지식) 유형으로 분류하고, Dewey의 반성적 사고 5단계를 따르는 명료화 과정을 통해 질문을 구체화하며, 유형별 맞춤 답변을 제공한다.
연구 방법으로는 부산광역시 소재 고등학교 2학년 학생 58명을 Agent 모드(명료화 포함, n=28)와 Freepass 모드(즉시 답변, n=30)로 무작위 배정하여 3주간(2025.10.20-11.08) A/B 테스트를 수행하였다. 유효 세션 284건에 대해 방법론적 상호 보완을 위해 대규모 패턴 탐색을 위한 LLM 평가(N=284)와 교육적 타당성 검증을 위한 교사 평가(N=100)를 병행하였다. 자체 개발한 QAC(Question-Answer-Context) 체크리스트(40점 만점)를 활용하여 3개의 AI 모델(Gemini-2.5-Flash, Claude-4.5-Haiku, GPT-5-mini)과 2명의 외부 수학교사가 평가하였으며, 평가자 간 신뢰도는 양호한 수준이었다(LLM ICC(3,k)=0.872, 교사 ICC(3,k)=0.739). 특히 LLM과 교사 평가 간 강한 상관관계(r=0.754)가 확인되어 평가 도구의 타당성을 확보하였다. 비록 LLM이 교사보다 점수를 높게 부여하는 경향(+5.46점)은 있었으나, 높은 일관성을 바탕으로 대규모 패턴 탐색을 위한 상대 비교 도구로서 적합함을 확인하였다.
연구 결과는 다음과 같다. 첫째, LLM 평가 결과 Agent 모드는 학습 지원(C2) 영역에서 유의하게 우수하였으며(+0.28점, p=0.004, d=0.353), 특히 하위권(Q1) 학생에게서 매우 큰 효과가 나타났다(p<0.001, d=0.855). 둘째, 교사 평가에서도 Agent 모드가 답변 영역에서 유의한 차이를 보였으며(+1.28점, p=0.017, d=0.488), 하위권 학생에게서 매우 큰 효과를 보여(+6.32점, p=0.013, d=0.992) LLM 평가와 일치하는 경향을 보였다. 셋째, 1,589건의 대화 로그 질적 분석 결과, 상위 득점 세션들은 모두 지식 차원의 상승(K2-K4)을 포함하고 있었으며, Dewey의 반성적 사고 단계가 실제로 구현됨을 확인하였다. 넷째, 학생 설문(N=47) 결과 AI 상호작용 품질(4.37/5.0)과 시스템 만족도(4.62/5.0)가 높게 나타났으며, 68.4%의 학생이 명료화 방식을 선호하였다.
결론적으로 질문 명료화 프로세스는 학습 지원을 강화하며, 특히 하위권 학생들에게 단기적인 학습 효과가 뚜렷함을 입증하였다. 본 연구는 Dewey 이론을 AI 시스템으로 적용한 탐색적 시도로서, LLM-교사 이중 평가 모델과 교사 협력 연구 플랫폼을 제안하였다. 다만 본 연구는 특정 맥락(고2, 수학적 귀납법, SW 특성화고)에 한정되며, 시스템 설계 및 평가 도구의 한계, 설문 응답 편향 등의 제한점이 있어 다양한 맥락에서의 후속 연구가 요구된다.
주제어: 인공지능 에이전트, 질문 명료화, 수학적 귀납법, 메타인지, Design-Based Research

목차 (Table of Contents)

• I. 서론 1
• 1. 연구의 필요성 1
• 2. 연구 목적 2
• 3. 연구 문제 3
• 4. 용어의 정의 3
• II. 이론적 배경 5
• 1. 이론적 기반의 구조 5
• 2. 블룸의 지식 분류: 4가지 지식 차원 6
• 3. 듀이의 반성적 사고 이론: 명료화 프로세스의 철학적 기반 7
• 4. LLM 평가의 타당성 검증: 이론적 근거 9
• III. 연구 방법 및 설계 기반 개선 과정 11
• 1. 연구 방법론: Design-Based Research 11
• 2. 사이클 1: 문제 분석 및 프로토타입 설계 (2025년 5월) 12
• 3. 사이클 2: 베타테스트 및 반복적 개선 (2025년 9월) 12
• 4. 사이클 3: 본 연구 A/B 테스트 (2025년 10-11월) 13
• 5. 통제 변인 22
• 6. 연구 도구 23
• 7. 자료 수집 및 분석 26
• IV. MAICE 교육 시스템 아키텍처 28
• 1. 예비 연구 결과의 설계 반영 28
• 2. 설계 철학: "명료화 중심 학습" 29
• 3. 전체 아키텍처 개요: 3계층 구조 30
• 4. 5개 에이전트의 역할과 협업 34
• V. 연구 결과 40
• 1. 연구 실행 및 데이터 수집 40
• 2. 명료화 효과: LLM-교사 이중 평가 41
• 3. 학습자 자기 평가 및 증거의 수렴 52
• 4. 피드백 내용의 질적 분석: Bloom-Dewey 이론 실증 55
• VI. 논의 및 결론 65
• 1. 명료화 프로세스의 작동 메커니즘 65
• 2. 연구의 제한점 67
• 3. 교육적 시사점 69
• 4. 후속 연구 제언 73
• 5. 결론 74
• 참고 문헌 76
• 부록 차례
• I. 부록 A: 기술 구현 상세 78
• II. 부록 B: 에이전트 프롬프트 설계 및 구현 예시 87
• III. 부록 C: 학생 사후설문지 98
• IV. 부록 D: LLM 배치 채점 프롬프트 및 평가 방법 102
• Abstract 109