AI 기반 수능 국어 독서 영역 자동 문항 생성 방안 연구 : Human-in-the-Loop(HITL) 모델 적용을 중심으로 = AI-Based Automatic Item Generation for the CSAT Korean Reading Section: A Human-in-the-Loop (HITL) Approach|RISS 상세보기

국문 초록 (Abstract)

본 연구는 생성형 AI 기반 자동문항생성(AIG)을 활용한 대학수학능력시험(이하 수능) 국어 독서 영역 문항 개발 방안을 탐색한다. 고차원적 사고력 측정을 목표로 하는 수능 문항은 신뢰도와 타당도 등 엄격한 질적 요건을 충족해야 한다. 그러나 전통적인 인력 기반 개발 방식은 과도한 시간과 비용을 요구하며, 평가 원리를 이해하고 적절한 도구를 개발하는 전문적 역량인 출제자 개인의 평가 문식성(assessment literacy)에 전적으로 의존한다는 구조적 한계를 지닌다. 생성형 AI는 이러한 문제를 해결할 잠재력을 지니고 있으나, 환각(Hallucination) 현상과 낮은 품질의 오답지(Distractor) 생성 등으로 고부담 평가에 직접 적용하기 어렵다. 이에 AI의 효율성과 인간 전문가의 교육적 판단력을 결합하는 Human-in-the-Loop(HITL) 모델이 현실적 대안으로 떠올랐다.
그러나 선행 연구들은 AI의 문항 생성 가능성을 확인하고 HITL의 필요성을 제안하는 데 그쳤다. ‘수능 국어 독서 영역’이라는 고난도 평가 맥락에서 ① 지문과 문항을 통합적으로 생성하고, ② 체계적인 HITL 프로토콜을 적용하며, ③ 대규모 학생 데이터(N=401)를 기반으로 심리측정학적(CTT/IRT) 타당성을 검증한 연구는 부재한다. 본 연구는 이러한 연구 공백을 메우기 위해 수능 국어 독서 영역 특화 HITL 프로토콜을 설계 및 구현하고, 생성 지문과 문항의 심리측정학적 품질 및 교육적 적합성을 대규모 학생 반응 데이터(N=401)와 전문가 평정(N=18)을 통해 다각적으로 평가함으로써, 생성형 AI 기반 문항 개발의 실질적 효용성과 타당성을 입증하고자 했다.
연구 방법은 다음과 같다. 수능 출제 원칙, 2015 개정 교육과정, AIG 이론 및 방법론, CoT(Chain-of-Thought) 전략 등을 바탕으로 10단계 HITL 프로토콜을 설계했다. 프로토콜은 AI가 평가 전문가로서 기능하도록 기반을 구축하는 5단계의 설계 단계(① 페르소나 설정, ② 평가 맥락 설정, ③ 교육과정 학습, ④ 출제 지침 학습, ⑤ 기출 세트 학습)를 거친 후, 5단계의 생성 및 정교화 단계로 이어진다. 후반 단계는 역설계(backward design) 기반 AI 지문 생성(⑥) → 다층적 지문 검토 및 수정(⑦: GPT 자체 검토 → Claude 교차 검토 → 인간 최종 검토) → 최종 지문 기반 문항 생성(⑧) → 다층적 문항 검토 및 수정(⑨: GPT 자체 검토 → Claude 교차 검토 → 인간 최종 검토) → 최종 세트 출력(⑩)의 순차적 절차를 따른다.
본 연구는 구축된 프로토콜을 적용하여 연구자 1인(현직 국어 교사)이 24시간 이내에 인문·예술, 사회·문화, 과학·기술의 3개 제재별 지문-문항 세트(총 12문항)를 생성하였다. 타당성 검증을 위해 현직 국어 교사 18명을 대상으로 분석적 루브릭(지문·문항 각 7개 준거) 기반의 전문가 평정을 실시하였으며, 충북 소재 인문계 고등학교 3학년 학생 401명의 실전 응답 데이터를 수집하였다. 데이터 분석은 세 가지 차원에서 수행되었다. 첫째, 지문의 이독성과 전문가 평정 결과는 Kread 지표, 기술통계, 급내상관계수(ICC), 일원배치 분산분석(One-way ANOVA)을 통해 검증하였다. 둘째, 문항의 심리측정학적 특성은 고전검사이론(CTT)에 기초한 난이도·변별도·내적 합치도(Cronbach's α)와 문항반응이론(IRT)의 2-모수 로지스틱 모형(2PL) 적합도(S-X²) 및 검사정보함수(TIF)를 산출하여 분석하였다. 셋째, 전문가 평정과 학생 응답 간의 정합성을 확인하기 위해 상관분석(Pearson)과 다중회귀분석을 실시하여 교차 타당도를 확보하였다.
주요 연구 결과는 다음과 같다. 첫째, 생성 지문은 Kread 지표에서 수능 기출 지문과 통계적으로 유의한 차이가 없었으며(p>.05), 전문가 평정에서 내용 정확성과 구성 체계성 등 형식적 완성도는 우수했으나(M>4.8), 난도의 적절성(M=4.26)이나 평가 적합성(M=4.44) 등 측정학적·교육적 측면은 상대적으로 낮은 평가를 받았다(p<.05). 둘째, 생성 문항은 전반적으로 수용 가능한 심리측정학적 특성(CTT α=.656, IRT 평균 변별도 a=1.097)을 보였으나, 비판적 독해 문항의 변별력은 유의하게 낮았다(평균 a=0.504). 전문가 평정 역시 교육과정 부합성과 형식적 완결성은 우수했으나(M>4.7), 평가 변별력의 핵심 요소인 오답의 매력도(M=4.21)와 난도의 적절성(M=4.02)은 다른 항목에 비해 낮은 평가를 받아(p<.05) 생성형 AI의 측정학적 한계를 확인했다. 셋째, 전문가의 정성적 품질 판단과 학생 반응 기반 실증적 측정 기능 간 괴리가 확인되었다. 전문가가 가장 높게 평가한 지문(사회·문화)에서 생성된 문항군이 실제로는 가장 낮은 평균 변별도를 나타내는 강한 부적 상관(ρ=-1.0, p<.001)이 관찰되었다. 이는 전문가의 주관적 평가만으로는 실제 측정 기능을 예측하기 어렵다는 것을 보여준다.
이상의 결과를 종합하면, 본 연구는 수능 국어 독서 영역 특화 HITL 프로토콜을 개발하고 대규모 실증 데이터로 평가함으로써 AIG 연구의 심리측정학적 공백을 보완했다. 생성형 AI의 강점(형식적 완성도)과 약점(측정학적·교육적 정교화), 전문가 판단과 실증 데이터 간 괴리를 확인했으며, 이를 통해 HITL 모델이 AI의 효율성과 인간의 전문성을 결합할 수 있으나 그 효과성은 인간 전문가의 적절한 개입 정도, 시기, 방법 등에 달려 있음을 밝혔다.
구체적으로 인간 전문가는 단순 검토자를 넘어 문항 생성의 조율자로서 세 가지 역할을 수행해야 한다. 첫째, 측정학적 관점을 강화하고 감독자 역할을 수행한다. 이는 문항의 변별도와 난이도, 오답 매력도 등 심리측정학적 품질 지표를 설계하고 정교화하는 것이다. 생성형 AI는 특히 비판적 독해 문항의 변별력 확보와 매력적인 오답지 생성에서 한계를 보였으며, 이는 전문가의 측정학적 전문성 기반 개입이 적극적으로 필요함을 보여준다. 둘째, 데이터 기반 판단을 우선하고, 문항 생성의 전 과정에서 타당도를 지속적으로 확보해 나가는 동적 검증(dynamic verification)을 수행한다. 전문가의 주관적 판단과 학생 반응 실증 데이터 간 괴리를 분석하여 지속적 개선 방향을 제시하는 것이다. 본 연구는 전문가 평가와 실제 측정 기능 간 불일치를 확인했으며, 이는 실증 데이터 분석 기반 전문가 역할의 중요성을 강조한다. 셋째, 새로운 기술을 습득하고 AI와의 역할 분담을 명확히 한다. AI가 형식적 완성도에서 강점을 보이는 만큼, 전문가는 AI가 취약한 측정학적 정교화와 교육적 가치 판단에 집중해야 한다.
이러한 발견은 고부담 평가 AIG 연구의 실증적 토대를 마련하고 AI 시대 평가 전문가의 역할 재정의 방향을 제시한다는 점에서 학술적·실천적 의의를 지닌다. 다만 본 연구의 성과를 발전시키기 위해서는 몇 가지 과제가 남아 있다. 향후 독해 유형별 인지적 특성을 반영한 차별화된 프로토콜 개발, 교사 개입 시점과 방법의 정교화, 그리고 AI의 재현성 한계를 고려한 문서화 체계 구축을 통해 HITL 프로토콜이 지속적으로 개선되어야 한다. 특히 인간 전문가의 심리측정학적 역량 강화를 위한 체계적 교육과 실제 학생 반응 데이터 기반 품질 검증 절차의 제도화가 필요하다. 또한 AI가 취약점을 보인 비판적 독해 및 매력적인 오답 생성을 위한 특화 데이터셋 구축도 시급한 과제이다. 지속적인 연구를 통해 제시한 과제들이 해결된다면 HITL 기반 AIG가 교육 평가 현장에서 지속 가능한 혁신 도구로 자리 잡을 수 있을 것이다. 본 연구가 AI 시대 교육 평가의 새로운 패러다임을 여는 초석이 되기를 기대한다.

※ 주요어: 생성형 AI, 자동문항생성(AIG), 지문 생성, Human-in-the-Loop(HITL), 대학수학능력시험(CSAT), 독서 영역, 읽기 평가, 심리측정, 문항반응이론(IRT)

※ 이 논문은 2026년 2월 한국교원대학교 대학원위원회에 제출된 교육학 석사학위 논문임.

번역하기

본 연구는 생성형 AI 기반 자동문항생성(AIG)을 활용한 대학수학능력시험(이하 수능) 국어 독서 영역 문항 개발 방안을 탐색한다. 고차원적 사고력 측정을 목표로 하는 수능 문항은 신뢰도와 ...

목차 (Table of Contents)