AI 기반 영어 읽기 진단 도구의 기초 타당도 분석 = A Preliminary Validity Analysis of an AI-based English Reading Diagnostic Tool

국문 초록 (Abstract)

본 연구는 학교 현장에서 활용할 수 있는 AI 기반 영어 기초 읽기 능력 진단 도구(AI-based Diagnostic Tool for Basic English Reading Ability, 이하 ADRA)를 개발하고, 개발된 도구의 타당도, 신뢰도, 실용도를 분석하는 데 목적이 있다. 영어 기초 읽기 능력은 영어 학습의 출발점이 되는 핵심 능력으로, 영어 문자를 보고 그에 대응하는 소리를 산출하며 이를 결합하여 단어를 읽어 내는 능력을 의미한다. 특히 우리나라 초등 영어 학습자는 일상에서 영어를 사용하지 않는 EFL(English as a Foreign Language) 환경에서 영어를 학습하므로, 문자-소리 대응 능력과 단어 읽기 능력을 조기에 파악하고 적절한 보정 지도를 제공할 필요가 있다.
이를 위해 본 연구에서는 초등학생의 영어 읽기 수행을 음성으로 진단할 수 있는 웹 기반 프로그램 ADRA를 개발했다. ADRA는 학습자가 제시된 뜻 없는 단어를 소리내어 읽으면 그 발화를 수집하고, 자동 채점 결과를 산출하도록 설계되었다. 이때 문자-소리 대응 능력은 ‘끊어 읽기(Correct Letter Sounds, CLS)’ 로, 단어 읽기 능력은 ‘한 번에 읽기(Whole Words Read, WWR)’로 수치화하였다.
연구는 부산 소재 G초등학교 6학년 학생을 대상으로 실시하였다. 먼저 6학년 3반을 대상으로 파일럿 적용을 실시하여 오디오 입력, 소음 처리, 발음 변이, 예외 처리, 화면 안내 등을 수정하고 보완하였다. 이후 파일럿 대상 학반을 제외한 6학년 1반, 2반, 4반 학생 총 50명을 대상으로 본 적용을 실시하였다. 본 적용은 1차 진단과 2차 진단으로 이루어졌으며, 두 진단 사이에는 약 6주의 간격을 두었다. 자료 분석은 자동 채점 결과와 수동 채점 결과의 관계를 확인하는 타당도 분석, 1차와 2차 자동 채점 결과의 관계를 확인하는 신뢰도 분석, 사후 설문을 통한 실용도 분석으로 이루어졌다.
연구 결과는 다음과 같다. 첫째, ADRA는 영어 기초 읽기 능력을 타당도 있게 진단하였다. 1차 진단에서 CLS의 자동 채점 결과와 수동 채점 결과 간 상관관계는 r=.934로 매우 높게 나타났으며, WWR의 자동 채점 결과와 수동 채점 결과 간 상관관계는 r=.802로 나타났다. 2차 진단에서도 CLS의 자동 채점 결과와 수동 채점 결과 간 상관계수는 r=.926, WWR의 자동 채점 결과와 수동 채점 결과 간 상관계수는 r=.779로 나타났다. 이는 ADRA의 자동 채점 결과가 수동 채점 결과와 높은 관련성을 보이며, 초등학생의 영어 기초 읽기 수행을 일정 수준 반영하고 있음을 의미한다.
둘째, ADRA는 영어 기초 읽기 능력을 신뢰도 있게 진단하였다. 1차 진단과 2차 진단의 CLS의 자동 채점 결과 간 상관관계는 r=.885로 높게 나타났으며, WWR의 자동 채점 결과 간 상관관계는 r=.786으로 나타났다. 이는 ADRA가 시간 간격을 둔 반복 적용에서도 학생 간 영어 기초 읽기 수행의 상대적 차이를 비교적 안정적으로 반영할 수 있음을 보여 준다.
셋째, ADRA는 영어 기초 읽기 능력을 실용도 있게 진단하였다. 사후 설문 결과, 진단 참여의 용이성 평균은 약 4.19점, 진단 내용의 명료성 평균은 약 4.13점, 진단 도구의 만족도 평균은 약 4.33점으로 나타났다. 세 영역 모두 5점 척도에서 4점 이상을 보여, 진단 대상자들이 ADRA의 진단 절차, 화면 안내, 마이크 사용, 진단 시간, 참여 경험을 대체로 긍정적으로 인식했음을 확인할 수 있었다.
결론적으로 본 연구에서 개발한 ADRA는 초등학교 학습자의 현재 영어 기초 읽기 능력 수준을 효율적으로 파악할 수 있다. 특히 문자-소리 대응 능력과 단어 읽기 능력을 구분하여 확인함으로써, 교사가 학습자의 읽기 어려움을 보다 구체적으로 파악하고 보정 지도 방향을 설정하는 데 도움을 줄 수 있다. 다만 자동 채점 결과는 교사 수동 채점 결과보다 보수적으로 산출되는 경향이 있으므로, 개별 학생의 읽기 능력을 확정적으로 판단하기보다는 교사의 전문적 판단과 함께 활용해야 한다. 본 연구는 영어 기초 읽기 능력 진단의 자동화 가능성을 제시하고, 학교 현장에서 학습자의 영어 기초 읽기 능력 수준을 조기에 파악하여 적기에 필요한 보정 지도를 계획하는 데 기초 자료를 제공한다는 점에서 의의가 있다.

다국어 초록 (Multilingual Abstract)

This study aims to develop an AI-based Diagnostic Tool for Basic English Reading Ability (ADRA) applicable in school settings and to analyze its validity, reliability, and practicality. Basic English reading ability refers to the capacity to recognize English letters, produce corresponding sounds, and blend them to read words — a foundational skill for English learning. Given that Korean elementary learners acquire English in an EFL (English as a Foreign Language) environment with limited exposure to English in daily life, early identification of letter-sound correspondence ability and word reading ability is essential for providing timely remedial instruction.
To this end, ADRA was developed as a web-based program that diagnoses elementary students' English reading performance through speech input. Students read aloud presented nonsense words, and the system collects their utterances and generates automated scores. Letter-sound correspondence ability was quantified as Correct Letter Sounds (CLS), and word reading ability as Whole Words Read (WWR).
The study was conducted with sixth-grade students at G Elementary School in Busan. A pilot application was first carried out with one class to refine audio input processing, noise handling, pronunciation variation, exception handling, and on-screen guidance. Subsequently, 50 students from three remaining sixth-grade classes participated in the main application, which consisted of a first and second diagnostic session with an interval of approximately six weeks. Data analysis included a validity analysis examining the relationship between automated and manual scoring results, a reliability analysis examining the relationship between first and second automated scoring results, and a practicality analysis based on a post-diagnostic survey.
The findings are as follows. First, ADRA demonstrated valid diagnosis of basic English reading ability. In the first diagnostic session, the correlation between automated and manual CLS scores was r = .934, and between automated and manual WWR scores was r = .802. In the second session, the corresponding correlations were r = .926 for CLS and r = .779 for WWR, indicating that ADRA's automated scores closely reflect students' basic English reading performance. Second, ADRA demonstrated reliable diagnosis across repeated administrations. The correlation between first and second automated CLS scores was r = .885, and between WWR scores was r = .786, showing that ADRA consistently reflects relative differences in students' reading performance over time. Third, ADRA demonstrated practical utility. Post-survey results showed mean scores of approximately 4.19 for ease of participation, 4.13 for clarity of diagnostic content, and 4.33 for overall satisfaction — all above 4.0 on a 5-point scale — indicating that students responded positively to the diagnostic experience overall.
In conclusion, ADRA enables efficient assessment of elementary learners' current level of basic English reading ability. By separately measuring letter-sound correspondence and word reading ability, it supports teachers in identifying specific areas of reading difficulty and planning targeted remedial instruction. However, as automated scores tend to be more conservative than manual scores, results should be interpreted in conjunction with teachers' professional judgment rather than used as definitive measures of individual ability. This study contributes to the field by demonstrating the feasibility of automated diagnosis of basic English reading ability and by providing foundational data to support early identification and timely remedial planning in school contexts.

목차 (Table of Contents)

• Ⅰ. 서론
• Ⅱ. 이론적 배경
• 1. 영어 기초 읽기 능력
• 가. 영어 읽기 능력
• 나. 영어 읽기 능력의 세부 요인
• 다. 해독과 파닉스
• 2. 영어 읽기 진단 도구
• 가. 영어 읽기 진단 도구의 의미와 필요성
• 나. 영어 읽기 진단 도구의 종류
• 다. 영어 읽기 진단 도구의 조건
• 3. 선행 연구 분석
• 가. 진단 도구의 개발
• 나. 진단 도구의 검증
• Ⅲ. 연구 방법
• 1. 연구 대상
• 2. 측정 도구
• 가. AI 기반 영어 기초 읽기 능력 진단 도구(ADRA)
• 나. 교사 수동 채점표
• 다. 사후 설문지
• 3. 연구 절차
• 4. 자료 분석
• 가. 타당도 분석
• 나. 신뢰도 분석
• 다. 실용도 분석
• Ⅳ. 연구 결과
• 1. ADRA의 타당도 분석
• 가. 1차 진단에서의 타당도 분석
• 나. 2차 진단에서의 타당도 분석
• 다. 타당도 분석 결과에 대한 논의
• 2. ADRA의 신뢰도 분석
• 가. CLS의 신뢰도 분석
• 나. WWR의 신뢰도 분석
• 다. 신뢰도 분석 결과에 대한 논의
• 3. ADRA의 실용도 분석
• 가. 진단 참여의 용이성 분석
• 나. 진단 내용의 명료성 분석
• 다. 진단 도구의 만족도 분석
• 라. 서술형 응답 분석
• 마. 실용도 분석 결과에 대한 논의
• Ⅴ. 결론 및 제언
• 참고문헌
• ABSTRACT
• 부록