수학 구성형 답안의 자동 채점 연구에 관한 체계적 문헌 고찰 : 멀티모달 답안 자동 채점의 현장 활용을 향하여 = A Systematic Literature Review on Automated Scoring of Mathematical Constructed Responses: Toward Classroom Applications of Multimodal Automated Scoring

다국어 초록 (Multilingual Abstract)

Automated scoring is a research field that facilitates constructivist educational evaluation by applying recently developed artificial intelligence technology to learner evaluation. As mathematics is an essential subject of the K-12 curriculum, research on automated scoring of constructed mathematical responses is of great importance. However, unlike research on automated scoring in other subjects’ responses, studies for automated scoring of mathematical responses still require further exploration. In this study, we propose classification criteria for mathematical constructed responses including response types and input types, identified 21 studies from 15 academic journals registered in SCOPUS with systematic literature review, and investigated them in detail.
As a result, Research on automated scoring of mathematical constructed responses has gradually increased in the 2010s, and mainly focusing on algebra and functions, number and operations at the secondary school level. With the advancement of artificial intelligence technology, automated scoring models have also evolved from early rule-based and statistical-based models to machine learning-, deep learning-, and large language models. Furthermore, early automated scoring studies which focused solely on single-modal and digital formatted answers are progressing toward automated scoring of multimodal and handwritten answers. Both holistic and analytic scoring methods are used, and stepwise rubric-based approaches have been identified as more suitable for automated scoring in mathematics.
Furthermore, this study identified that current research mainly emphasizes the technical aspects of scoring systems and their model performance. However, the educational validity of automated scoring is ultimately more critical than its technical accuracy and performance itself. Therefore, future research should extend beyond algorithmic development to address practical applications and pedagogical effectiveness in real classroom contexts.
Lastly, this study suggests practical automated scoring scenarios using sample responses devised by the researcher. Different scoring scenarios depending on the method of response collection during instruction are outlined. Examples of recent applications using recent language models are also introduced. These exploraions provide insight into the potential of automated grading for multimodal responses and offer implications for future implementation in education settings.

국문 초록 (Abstract)

자동 채점은 최근 발달한 인공지능 기술을 학습자 평가에 적용함으로써 구성주의적 교육 평가의 실현에 도움을 줄 수 있는 연구 분야이다. 수학은 국가 교육과정의 기본적이면서도 필수적인 교과인 만큼 수학 문항에 대한 자동 채점 연구도 그 중요성이 상당하다. 그러나 타 교과의 자동 채점 연구와 달리 수학 교과를 대상으로 한 연구는 아직 시작 단계에 있다. 본 연구에서는 수학 교과에서 답안의 형태 및 입력 유형을 포함한 구성형 문항의 분류기준을 제안하고, 이를 바탕으로 체계적 문헌 고찰의 방법을 통해 SCOPUS에 등재된 15개 학술지에서 21편의 연구를 식별한 뒤 이를 분석하였다.
연구 결과, 수학 교과의 자동 채점 연구보고는 2010년대부터 점차 시작되어 2010년 후반에 본격적으로 증가하기 시작하였고, 중고등학교급을 대상으로 변화와 관계 및 수와 연산 영역의 채점 연구가 주를 이루었다. 인공지능 기술 발전에 따라 자동 채점 모델도 초기의 규칙 기반 및 통계 기반 모델에서 기계학습, 딥러닝, 대규모 언어모델 등으로 변화했다. 단일 형태의 디지털 입력 답안을 분석한 초창기 자동 채점 연구는 점차 멀티모달 형태와 손글씨 답안을 자동 채점하는 방향으로 발전하고 있다. 채점 방법은 총체적 채점법과 분석적 채점법이 모두 활용되고 있으며, 단계형 채점법이 자동 채점에 더 적절한 접근 방식임을 확인하였다.
또한, 문헌 분석 결과를 바탕으로 수학 교과의 자동 채점 연구가 채점 기술이나 성능에 주로 초점을 맞추고 있음을 식별하였다. 자동 채점의 실효성은 궁극적으로 기술적 정확성보다는 교육적 타당성에 있는바, 앞으로의 자동 채점 연구는 기술적 부분뿐 아니라, 현장에서의 활용 가능성과 교육적 효과를 분석하는 데까지 확장되어야 한다.
마지막으로 연구 결과를 바탕으로 가상의 구성형 문항과 답안을 활용하여 실제적인 자동 채점 활용 시나리오를 제안하였다. 현장에서의 실제적인 활용을 지원하기 위해 데이터의 획득 방법에 따른 자동 채점 시나리오를 구상하고, 최근 상용화된 언어모델을 사용한 자동 채점 사례를 제시하였다. 이를 통해 멀티모달 답안 자동 채점의 가능성을 탐색하고 실천적 함의를 설명하였다.

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1. 연구의 필요성 1
• 2. 연구의 목적 5
• 3. 연구 문제 7
• Ⅱ. 이론적 배경 8
• 1. 인공지능 기반 자동 채점 기술의 변화 8
• 가. 규칙 기반 자동 채점 8
• 나. 통계 처리 및 기계학습 기반 자동 채점 9
• 다. 심층 신경망 기반 자동 채점 9
• 라. 트랜스포머 기반 자동 채점 12
• 마. 시각 언어 모델 기반 자동 채점 14
• 2. 수학 교과의 구성형 답안 채점을 위한 채점 방법 15
• 가. 총체적 채점법 15
• 나. 분석적 채점법 16
• 다. 채점 방법에 따른 분석 틀 16
• 3. 수학 교과의 구성형 답안 채점을 위한 문항 답안 분류기준 18
• 가. 멀티모달과 인공지능 18
• 나. 멀티모달과 수학 자동 채점 19
• 다. 수학 구성형 답안 자동 채점을 위한 문항 답안 분류기준 20
• Ⅲ. 연구 방법 24
• 1. 논문 검색 기준 선정 및 논문 선정 24
• 2. 논문 분석 기준 27
• 3. 연구의 한계 29
• Ⅳ. 연구 결과 30
• 1. 자동 채점 연구의 대상 32
• 2. 자동 채점 데이터와 알고리즘, 성능 및 채점 방법 34
• 가. 자동 채점 연구의 답안 데이터 34
• 나. 자동 채점 연구의 채점 알고리즘과 성능 35
• 다. 자동 채점 연구의 채점 방법 36
• 3. 구성형 답안의 형태와 입력 유형 38
• 가. 구성형 답안의 형태에 따른 분석 결과 38
• 나. 구성형 답안의 입력 유형에 따른 분석 결과 42
• Ⅴ. 논의 및 결론 43
• 1. 자동 채점 연구의 대상 43
• 2. 자동 채점 데이터와 알고리즘, 성능 및 채점 방법 45
• 가. 자동 채점 연구의 데이터 보고 방식과 답안 데이터의 품질 45
• 나. 자동 채점 연구의 모델 알고리즘, 성능 비교 지표 46
• 다. 자동 채점 연구의 채점 방법 46
• 3. 구성형 답안의 형태와 입력 유형 48
• 가. 답안의 형태와 입력 유형에 따른 구성형 답안 자동 채점 48
• 나. 수식형 답안 데이터와 수학교육 49
• 4. 연구의 함의 51
• 가. 수학교육 관점에서의 자동 채점 연구의 방향 51
• 나. 자동 채점의 교육적 활용과 수업 개선 가능성 52
• 다. 멀티모달 답안 자동 채점 모델의 활용 시나리오 제안 53
• 5. 결론 72
• 참고문헌 74
• 부록 93
• Abstract 99