수능 ‘언어와 매체’의 단어 문항 풀이에서 나타나는 생성형 인공지능의자연어 설명에 대한 분석 = Surface Fluency and Internal Imperfection in Natural Language Explanations for CSAT “Language and Media” Word Items

국문 초록 (Abstract)

이 연구의 목적은 대학수학능력시험 ‘언어와 매체’의 단어 관련 문항 풀이와 관련하여 생성형 인공지능이 제공하는 자연어 설명의 특성을 분석하는 것이다. 이 연구는 급속도로 발전하는 인공지능 자연어 처리 기술의 성과를 문법 교육적으로 의미화할 필요성에서 출발하였다. 2022학년도부터 2026학년도까지의 ‘언어와 매체’의 단어 관련 문항을 제미나이 3 프로 모델에 입력하여 자연어 설명을 생성하고 그 특성을 분석하였다. 분석 결과 자연어 설명은 표면적 유창성과 내부적 불완전성의 특성을 가지는 것으로 파악되었다. 표면적 유창성의 양상으로는 문항 구성 요소에 의존하는 출력, 문항에서 주목되는 단서의 활용, 사전 학습된 문법 개념어의 사용을 분석하였다. 내부적 불완전성의 양상으로는 다양한 문항 해결 경로의 생성, 출력 과정에서 오류의 순차적 전달, 사전 학습된 지식의 한계를 기술하였다. 표면적 유창성은 가시적인 반면 내부적 불완전성은 비가시적이기 때문에 문법 교육에서 언어 주체의 비판적인 인식이 중요하게 요구된다.

다국어 초록 (Multilingual Abstract)

This study analyzes the characteristics of natural language explanations generated by large language models when solving word-related items in the Korean College Scholastic Ability Test (CSAT). Word-related items from the 2022 to 2026 CSAT were input into the Gemini 3 Pro model to generate natural-language explanations, and their features were examined. The analysis indicates that these explanations exhibit two key characteristics: surface fluency and internal imperfection. This study delineates three manifestations of surface fluency: outputs relying on question components, the use of salient cues in the question, and the use of pre-trained grammatical terminology. It also identifies three manifestations of internal imperfections: the generation of multiple solution pathways, the sequential propagation of errors during the output process, and limitations in pre-trained knowledge. Because surface fluency is visible whereas internal error risk is not, grammar education that fosters users’ critical awareness is urgently required.