상호작용하는 다중 생성형 AI(LMM)를 활용한 수학영재교육 프로그램 평가 방법 = An Evaluation Method for Gifted Mathematics Education Programs Using Multiple Interacting Generative AIs (LMMs)

국문 초록 (Abstract)

본 연구는 다중 생성형 AI(LMM)를 활용한 수학영재교육 프로그램을 평가하는 방법을 탐구하였다. GPT-4.1에 대한 대역의 역할을 수행하는 두 LMM(GPT-4o와 Gemini 2.5 pro)이 서로 다른 평가 철학과 기준에 기반하여 상호작용하고 조정하는 과정을 분석하여 이를 통해 실제 수학 영재교육 평가에서 생성형 AI를 적용할 때 고려해야 할 평가 방법과 시사점을 도출하였다. GPT-4.1 점수 제공 여부가 평가 결과의 평균 수준과 상관 구조에 유의미한 변화를 주었고, 외부 모델과의 상호작용은 대역 모델의 평가 패턴을 GPT-4.1에 수렴시키는 조정 효과를 발휘하였다. LMM 기반 평가의 신뢰도는 체계적 루브릭과 명확한 평가 철학의 부여에 달려있었으며, 각 모델은 비판적 피드백을 수용해 자기반성적 조정과 기준 개선을 수행하였다. 또한 동일한 루브릭을 적용하더라도 평가 과정은 모델별로 달라, 목적에 따른 적절한 모델의 조합과 조정이 필요함이 확인되었다. 이러한 결과는 수학영재교육 평가에서 단일 AI의 객관성에만 의존하기보다는 여러 평가 철학을 지닌 생성형 AI의 상호작용을 기반으로 한 다중 AI 평가 모델로 전환할 필요성을 시사한다.

다국어 초록 (Multilingual Abstract)

This study explored methods for evaluating gifted mathematics education programs using large multimodal models (LMMs). We analyzed the process by which two LMMs (GPT-4o and Gemini 2.5 pro), acting as proxies for GPT-4.1, interacted and coordinated based on differing evaluation philosophies and criteria. This yielded evaluative components, interaction methods, and coordination procedures to consider when applying generative AI in actual gifted mathematics education assessments. Providing GPT-4.1 scores significantly altered the average level and correlation structure of assessments while interaction with external models exerted a coordinating effect, converging the evaluation patterns of the proxy models toward GPT-4.1. Furthermore, the reliability of LMM-based assessment depended on the application of systematic rubrics and a clear assessment philosophy, with each model undertaking self-reflective adjustment and criterion refinement by incorporating critical feedback. And, even when applying the same rubric, the evaluation process differed by model, confirming the need for appropriate model combinations and adjustments based on purpose. These results suggest a necessity to transition towards a multi-AI evaluation model based on the interaction of generative AIs with diverse evaluation philosophies, rather than relying solely on the objectivity of a single AI in the assessment of gifted mathematics education.