수준별 읽기 학습을 위한 어휘력 진단 평가 연구 : KSL 학습자를 중심으로

김나영 연세대학교 대학원 2024 국내석사

The purpose of this study is to develop a vocabulary diagnostic assessment for KSL learners’ leveled reading learning. Extended reading instruction is very important for KSL learners, because they need to improve not only their Korean language skills but also their academic skills. In order to provide KSL learners with appropriate reading materials according to their level of proficiency, it is necessary to diagnose their level-specific vocabulary skills that are related to their reading learning. As KSL learners differ from the literacy level of elementary school students in the general education curriculum in terms of Korean language mastery, it is very difficult for them to have direct access to reading materials. Therefore, this study focused on this point and tried to present a proposal for a vocabulary diagnostic assessment that can economically identify the vocabulary ability of KSL learners, and ultimately aimed to enable leveled access to reading materials by determining the appropriate reading level through the diagnostic assessment. In Chapter 1, the need and purpose of this study were identified, and the social demands of reading for KSL learners were examined. In Chapter 2, theoretical discussions related to reading and vocabulary, which will be the basis for the assessment of vocabulary diagnosis by level, were reviewed. First, the relationship between reading and vocabulary was identified and correlational studies were reviewed in order to relate the vocabulary diagnostic assessment developed in this study to KSL learners’ leveled reading instruction. Next, issues were analyzed by dividing vocabulary research in various language education into three parts: L2 education, Korean language education, and KSL education. Chapter 3 analyzes examples of vocabulary diagnostic assessments used in each language education. In this study, the characteristics and limitations of each assessment were examined by analyzing vocabulary assessments abroad such as English, Chinese, Japanese, and children’s vocabulary diagnosis assessments, where the discussion is active. In the case of reading and vocabulary diagnostic assessments in KSL, the only one directly targeted in this study is the KSL diagnostic assessment developed in 2012, and the implications of this assessment are drawn by comparing and analyzing diagnostic assessments in international language education. In Chapter 4, referring to the discussion in Chapter 3, assessment vocabulary for each level to be used in the KSL vocabulary diagnosis assessment of this study was selected, and a draft for developing vocabulary assessment question types was presented. In the sample study, the learners’ levels were limited to “the second grade of elementary school, the intermediate level of the KSL curriculum, and the third level of the standardized international Korean curriculum”, and a framework for vocabulary diagnostic assessment appropriate to each level was constructed. First, for vocabulary selection, the vocabulary selected for each curriculum mastery level was divided into Korean as a Foreign language education vocabulary and Korean language education vocabulary. Korean as a Foreign language education vocabulary was first extracted from the educational content categories, and then secondly extracted through expert evaluation. The vocabulary for Korean language education was based on the vocabulary of existing studies that were evaluated by experts and tested for learner familiarity. The vocabulary was then eliminated to ensure that the three curricula were connected naturally, and the vocabulary was finally selected to reflect the characteristics of the learners. The question types of vocabulary diagnostic assessment by level of KSL learners were designed based on the criteria established according to the results reviewed in Chapter 4. Next, the KSL vocabulary diagnostic assessment was divided into quantitative and qualitative diagnostic tests. The Quantitative diagnostic assessment is primarily a brief grasp of the test takers’ vocabulary knowledge, but since the test takers are KSL learners in the lower grades of elementary school, a type suitable for the learner’s cognitive ability has been added. The qualitative diagnostic test was developed by dividing vocabulary into semantic and usage aspects. Most of the question types in the qualitative diagnostic assessment are composed of more than a sentence, so that they can be related to reading learning at different levels. In terms of semantics, in addition to the relationship of vocabulary, a question was added to confirm whether the learner understands the linguistic characteristics of the Korean language well. In terms of usage, a type that can check whether Korean collocation or idiomatic expressions are accurately used through contextual regulation types was developed. Chapter 5 presents the significance along with the summary of this study. This study aimed to develop a framework of vocabulary diagnostic assessment for KSL learners who are in need of enhancing their learning skills, taking into account the limitations of their Korean language proficiency and selecting appropriate extended reading materials. Determining learners’ reading level is important for their successful integration into primary education, which has recently emphasized literacy. It is hoped that KSL learners’ reading of pre-established elementary reading materials by level will be activated by determining the appropriate reading level through the vocabulary diagnosis assessment proposed by this study. 본 연구는 KSL 학습자의 수준별 읽기 학습을 위한 어휘력 진단 평가 개발을 목적으로 한다. KSL 학습자는 한국어 능력뿐만 아니라 학습 능력도 제고해야 한다는 점에서 확장적 읽기 학습이 매우 중요하다. KSL 학습자의 숙달도에 따라 학습자 개개인에게 적합한 읽기 학습을 진행하기 위해서는 수준별 읽기 자료의 확보와 더불어, 학습자의 읽기 학습과 연관되는 수준별 어휘 능력을 진단할 필요가 있다. KSL 학습자는 한국어 숙달도 면에서 일반 교육과정을 수학하는 초등학생의 문해력과 편차가 있어, 이들을 위한 읽기 자료에 곧바로 접근하는 것은 매우 어렵다. 이에 본 연구에서는 이러한 점에 초점을 맞춰 KSL 학습자의 어휘 능력을 경제적으로 파악할 수 있는 어휘력 진단 평가의 시안을 제시하고자 했으며, 궁극적으로는 진단 평가를 통한 적정한 읽기 수준의 판정을 통해 읽기 자료의 수준별 접근이 가능해지는 것을 목표로 삼았다. 1장에서는 본 연구의 필요성 및 목적을 밝히고, KSL 학습자의 읽기에 대한 사회적 요구를 살폈다. 이어서 2장에서는 수준별 어휘력 진단 평가의 토대가 될 읽기와 어휘에 연계된 이론적 논의를 검토하였다. 먼저 본 연구에서 개발하는 어휘력 진단 평가가 KSL 학습자의 수준별 읽기 학습과 연관된다는 점에서 읽기 교육과 어휘의 관계를 파악하고, 이와 관련된 상관성 연구를 검토하였다. 그 다음으로 다양한 언어교육에서의 어휘력 연구를 외국어교육, 국어교육, 그리고 KSL 세 가지 층위로 나눠 선행 연구의 쟁점을 분석하였다. 3장에서는 각 언어교육에서의 활용되고 있는 어휘력 진단 평가의 사례를 분석하였다. 본 연구에서는 우선 해당 논의가 활발한 영어, 중국어, 일본어, 어린이용 어휘력 진단 평가 등의 국외에서의 어휘 평가를 분석하여, 각 평가들의 특징과 한계점을 살펴보았다. 특히 문항 유형을 분류하는 과정에서 각각의 언어 평가가 평가 대상 언어의 특성을 어떻게 반영하고 있는지를 분석하였고, 본고가 대상으로 삼은 초등생과 연관되는 어린이용 어휘력 진단 평가의 학습자의 연령과 인지 능력을 고려한 요소들을 함께 분석하였다. 본고의 직접적인 대상이 되는 KSL에서의 읽기 및 어휘력 진단 평가의 경우, 2012년에 개발된 KSL 진단 평가가 유일하였는데, 해당 평가를 국외 언어교육에서의 진단 평가들과의 비교·분석을 통해 시사점을 도출하였다. 4장에서는 3장의 논의를 참고하여, 본 연구의 KSL 어휘력 진단 평가에 활용할 어휘 목록을 선정하고, 어휘 평가 문항 유형 개발 시안을 제시하였다. 샘플 연구에서는 학습자의 수준을 ‘초등학교 2학년, KSL 교육과정 중급, 국제 통용 한국어 표준 교육과정 3급’로 한정하고, 해당 수준에 적절한 어휘력 진단 평가의 틀을 구성해 보았다. 우선, 어휘 선정에서는 각 교육과정 숙달도에서 선정한 어휘들은 한국어교육 어휘와 국어교육 어휘를 나누어 선정하였다. 한국어교육 어휘는 교육 내용 범주에서 준거를 잡아 1차 추출 후, 전문가 평정을 받아 2차 추출을 하였다. 국어교육 어휘는 전문가 평정과 학습자 친숙도 검사를 마친 기존 연구의 어휘를 참고하였다. 이후 세 교육과정이 자연스럽게 연결될 수 있도록 소거 작업을 하고, 학습자의 특성을 반영한 어휘들을 최종 선정하였다. KSL 학습자의 수준별 어휘 평가 문항 유형은 4장에서 검토한 결과에 따라 세운 준거를 바탕으로 설계하였다. 다음으로, KSL 어휘력 진단 평가는 양적 진단 평가와 질적 진단 평가로 나누어 개발하였다. 양적 진단 평가는 1차적으로 응시자의 어휘 지식을 간략하게 파악하는 것이지만, 응시자가 초등학교 저학년 KSL 학습자라는 점에서 학습자의 인지 능력에 적합한 유형을 추가하였다. 질적 진단 평가는 어휘의 의미적 측면과 사용적 측면으로 나누어 개발하였다. 질적 진단 평가는 수준별 읽기 학습과 연관될 수 있게 대부분의 문항을 문장 이상의 단위로 구성하였다. 의미적 측면에서는 어휘의 관계와 더불어 학습자가 한국어의 언어적 특성을 잘 이해하고 있는지 확인할 수 있는 문항을 추가하였다. 사용적 측면에서는 문맥 규정 유형을 통해 한국어의 연어나 관용 표현을 정확히 사용하는지 확인할 수 있는 유형을 개발하였다. 5장에서는 본 연구의 요약과 함께 의의를 제시하였다. 본 연구는 학습 능력 제고가 절실한 KSL 학습자들을 대상으로 하여, 그들의 한국어 능력의 제한점을 고려하고 적절한 확장적 읽기 자료 선정을 위해 어휘력 진단 평가의 틀을 개발하고자 하였다. 문해력이 강조되는 최근의 초등 교육에의 성공적 정착을 위해서는 학습자의 읽기 자료 수준을 판정하는 일은 중요하다. 본고가 제안한 어휘력 진단 평가를 통한 적정한 읽기 수준 판정을 통해, KSL 학습자들의 기 구축된 초등용 읽기 자료의 수준별 읽기가 활성화되기를 희망한다.

Exploring the Role of Prosody in Korean EFL High School Students’ Oral Reading Fluency

유지선 서울대학교 대학원 2023 국내박사

Oral reading fluency (ORF), defined as the ability to read text accurately, quickly, and expressively, is considered a crucial skill for reading comprehension success. Founded on the theoretical underpinnings of information processing models and numerous empirical studies, ORF has drawn much attention from reading researchers and educators. Given its significance, various interventions have been developed and incorporated into the classroom, alongside numerous assessment tools for measuring ORF in both first language (L1) and second language (L2) contexts. However, there has been ongoing criticism of ORF assessment tools for their exclusive focus on measuring reading accuracy and rate, while neglecting the critical component of reading prosody. Reading prosody refers to the melodic quality of oral reading such as tempo, pauses, pitch, and rhythm. Research has shown that as readers become more proficient and fluent in reading, their oral reading becomes smoother and more speech-like, progressing from a word-by-word, hesitant manner to a more fluid style. In addition, the importance of reading prosody has been underscored as it plays a critical role in reading comprehension by holding information being processed in working memory or acting as a cognitive scaffold for semantic processing (Frazier et al., 2006). Even though little is known about reading prosody so far, a growing body of research has shown that reading prosody is an essential component of ORF and reading comprehension in L1 reading. In the L2 context, ORF also has been increasingly establishing itself as a legitimate component of reading skill, and evidence has been accumulated suggesting its significant relationship with reading comprehension. However, the research of reading prosody is at the beginning stage in the L2 context. Therefore, the present study attempted to explore various aspects of the roles reading prosody plays in L2 reading. First, it examined distinctive characteristics of reading prosody features differing according to fluency skill. Second, this research sought to evaluate the supposition regarding the characterization of ORF, specifically assessing whether the combined factors of reading accuracy and rate (i.e., text reading efficiency) and reading prosody can be considered a single construct, known as ORF. Additionally, the investigation aimed to examine the role of reading prosody in accounting for reading comprehension. A total of 90 Korean high school students learning English as a foreign language (EFL) participated in the study. The students were subjected to a battery of reading assessments to evaluate their decoding skills, text reading efficiency (TRE), and reading comprehension. To examine and measure reading prosody features, spectrographic analysis was employed as the methodology. By employing a speech sound wave analysis tool such as Praat (Boersma & Weenink, 2023), the visuo-graphic representation of sound waveform was generated. The observation of this spectrogram made it possible to identify and extract various prosodic features. As a result of spectrographic analyses, six features of reading prosody were extracted: intrasentential pause ratio (IntraP_ratio), intrasentential pause duration (IntraP_duration), ungrammatical pause ratio (UGP_ratio), intersentential pause ratio (InterP_ratio), overall intonation contour (Pitch_SD), and pitch changes at the sentence-final position (Pitch_SF). These features were subsequently analyzed using a series of one-way analysis of variance (ANOVAs), confirmatory factor analysis (CFA), or a series of hierarchical linear regressions. The study found that pause-related variables such as IntraP_ratio, IntraP_duration, and UGP_ratio were distinctively different among students with different fluency skills, indicating that these variables may be indicative of a student’s level of fluency. In contrast, it was found that Pitch_SD did not exhibit significant differences based on fluency level, suggesting that the overall pitch pattern may remain similar across Korean L2 readers regardless of their level of fluency. Meanwhile, significant variations in pitch changes at the sentence-final position and pause duration across sentences were only evident among higher fluency groups, indicating that these changes primarily manifest among L2 readers who have attained a sufficient level of decoding and fluency. In addition, it was found that reading prosody and TRE align and contribute to the unified construct of ORF. However, among reading prosody features, only pause-related variables were indicative of ORF. Lastly, the present study demonstrated that reading prosody plays a crucial role in predicting reading comprehension by acting as a mediator between decoding skills and reading comprehension. However, the results indicate that reading prosody did not account for additional variance in reading comprehension beyond TRE, especially when TRE was given priority in the order of entry in the hierarchical linear regression. When another regression analysis was conducted to inspect the relationship between reading prosody and TRE, a substantial overlap of these variables was detected, suggesting that the effect of reading prosody on reading comprehension would be masked if TRE is entered before reading prosody factors. In fact, when reading prosody was given priority in the order of the entry in the regression analysis, it was found to remain significant alongside TRE. The current dissertation has important pedagogical implications for L2 reading instruction. The findings suggest that focusing on the development of reading prosody is critical for enhancing L2 reading proficiency. L2 teachers should consider incorporating activities that explicitly address reading prosody, such as choral reading or repeated reading, into their instruction to help L2 learners improve their ORF. Given the mediating role of reading prosody in the relationship between decoding skills and reading comprehension, instructors are encouraged to integrate ORF monitoring activities using the ORF scale into their assessment protocols. The current study’s outcomes can be leveraged to develop a valid and reliable ORF scale as in previous studies. Overall, the findings of this study highlight the importance of a comprehensive approach to L2 reading instruction that targets ORF, especially reading prosody to promote efficient and effective reading comprehension in L2 learners. 읽기 속도, 정확성, 표현력으로 정의되는 읽기 유창성은 읽기 이해에 있어서 중요한 요소로 간주된다. 정보처리이론의 이론적 배경과 더불어 상당수의 실험연구 결과로 읽기 유창성은 연구자들과 교육자들로부터 많은 관심을 받아왔다. 그 중요성이 인정되어, 모국어와 제2언어 교육에서 다양한 수업 방법이 개발되고 수업에 이용되었으며, 읽기 유창성을 측정하기 위한 다양한 평가 도구가 개발되었다. 그러나, 이러한 평가도구들은 읽기 속도와 중요성만을 측정하고, 읽기 유창성의 중요한 요인인 운율적 특성을 제외한 것에 대해 끊임없는 비판의 대상이 되어왔다. 읽기의 운율적 특성은 휴지, 억양, 리듬 등과 같이 읽기 낭독의 음악적 특성을 일컫는다. 선행연구들은 읽기에 능숙하고 유창할수록 읽기 낭독이 좀 더 부드럽고 구어와 비슷하며, 단어를 더듬거리며 읽지 않게 된다는 것을 보여주었다. 또한, 읽기의 운율적 특성은 처리되는 정보를 작동 기억에 저장하는 역할을 하거나, 의미 처리를 위한 인지적 비계 역할을 하며 읽기 이해에 있어 중요한 역할을 하는 것으로 알려져 있다 (Frazier et al., 2006). 비록 지금까지 읽기의 운율적 특성에 대해서 많은 연구가 행해지지는 않았지만, 모국어의 읽기에 관한 연구에서는 이러한 특성이 읽기 유창성과 이해에 있어 중요한 요인이라는 것이 점차 인정받고 있다. 제2언어 연구에서도 읽기 유창성은 읽기에 있어서 중요한 요소로 자리매김하고 있으며, 상당히 많은 연구로 인해 읽기 유창성과 읽기 이해의 관계도 밝혀지고 있다. 하지만, 여전히 운율적 특성은 읽기 연구에 있어서 간과되어 왔다. 따라서, 본 연구는 운율적 요소들이 제2언어 읽기에서 하는 다양한 역할을 탐구하였다. 첫째로, 학습자의 유창성 수준에 따라 운율적 특성이 어떻게 달라지는지를 탐구하였다. 둘째로, 모국어 읽기 연구에서 규정된 읽기 유창성의 정의가 제2언어 상황에도 적용되는지, 즉, 읽기 유창성이 읽기 속도와 정확성 그리고 운율적 특성으로 구성된 단일한 구인인지를 검증하고자 하였다. 마지막으로, 읽기의 운율적 특성과 이해 능력 간의 관계를 고찰하였다. 영어를 외국어로 사용하는 총 90명의 한국 고등학교 학생들이 이 연구에 참여하였다. 참여자들은 단어 읽기 능력, 텍스트 읽기 능력, 그리고 읽기 이해 평가를 받았으며, 운율적 요소들은 학생들이 읽기 낭독을 녹음한 후, 이를 스펙트로그래프 분석을 통해 추출하였다. Praat과 같은 음성분석 도구를 사용한 스펙트로그램의 분석은, 소리 파형의 시각 그래프를 만들어 다양한 운율적 특성의 식별과 측정이 가능하며, 정확하고 객관적인 측정이 가능하다는 장점이 있다. 이러한 분석의 결과로 문장 내 휴지의 빈도, 문장 내 휴지의 총길이, 비문법적 휴지의 빈도, 문장 사이의 휴지 길이, 전반적인 억양 곡선, 문장 말미에서 억양의 변화, 이렇게 총 6개의 운율적 특성이 추출되었으며 추후 분석의 대상이 되었다. 분석 방법으로 일원 분산분석, 확인적 요인분석, 위계적 회귀분석이 사용되었다. 본 연구의 결과는 다음과 같다. 첫째로, 휴지와 관련된 변인, 즉, 문장 내 휴지 빈도, 문장 내 휴지 길이, 비문법적 휴지의 빈도는 유창성의 정도에 따라 두드러진 차이를 보였다. 그러나, 전반적인 억양곡선은 유창성의 수준에 따라 유의미한 차이를 보이지 않았으며, 이는 억양곡선은 한국인 제2 언어 학습자들의 유창성과는 관계없이 큰 차이가 없다는 것을 보여주었다. 또한 문장 말미에서의 억양 변화와 문장 간 휴지의 길이는 상위 학습자만 유의미하게 변별되어, 이러한 차이는 단어와 문장의 읽기 유창성이 충분히 발달해야 분명해진다는 사실을 나타냈다. 읽기 유창성의 정의에 대한 가설을 검증한 결과, 영어를 모국어로 사용하는 맥락과 마찬가지로 제2 언어 읽기 상황에서도 이 구인이 정확성, 속도, 운율적 특성을 하위 요인으로 가지는 다면적이지만 단일한 속성을 가지고 있다는 사실이 밝혀졌다. 마지막으로 본 연구는 운율적 요소들이 단어 읽기 능력과 읽기 이해에서 매개 역할을 하며, 읽기 이해에 중요한 역할을 한다는 것을 발견하였다. 하지만, 위계적 회귀분석에서 텍스트 읽기 효율성이 먼저 분석에 투입될 시 운율적 요소는 읽기 이해에 있어서 의미 있는 예측력은 없는 것으로 나타났으나, 이는 텍스트 읽기 효율성과 운율적 요소가 공유하는 분산이 크기 때문이었다. 따라서, 이들 변수의 투입 순서를 바꾸어 다시 위계적 회귀 분석을 한 결과 텍스트 읽기 효율성과 운율적 요소 모두 읽기 이해를 설명하는 유의미한 변수임을 발견하였다. 본 논문은 제2 언어 읽기 수업에 있어서 중요한 교육적 함의를 지닌다. 연구의 결과는 운율적 요인의 발달이 제2 언어 읽기 능을 향상시키는 데 있어서 중요하다는 것을 시사한다. 교사들은 함께 소리내어 읽기나, 반복 읽기와 같은 방법을 수업에 적용하여 제2 언어 학습자들이 읽기 유창성을 도모해야 한다. 또한 운율적 요인들이 단어 읽기 능력과 읽기 이해에서 매개 역할을 한다는 사실을 고려하면, 읽기 유창성 척도를 사용하여 학생들의 발달을 측정하고 이를 평가에 반영할 방법을 고안해야 한다. 선행연구처럼, 본 연구의 결과는 타당하고 신뢰로운 읽기 유창성 척도를 개발하는 데 이용될 수 있을 것이다. 전반적으로 본 연구의 결과는 제2 언어 학습자들의 읽기 이해 능력을 촉진하기 위해 읽기 유창성, 특히 운율적 요소를 수업과 평가에 통합하는 더 포괄적인 접근을 재고해야 할 것을 시사한다.

Addressing Bias through Chatbot-Assisted Dynamic Assessment: Toward a Teacher-AI Collaborative Model for Critical L2 Reading

Jeon, Jaeho Indiana University ProQuest Dissertations & Theses 2025 해외박사(DDOD)

L2 reading has traditionally relied on summative assessments using existing texts and multiple-choice questions with limited reading guidance. This study explores how Generative AI (GenAI)-powered chatbots can offer alternative assessment tools by automating tasks such as text creation and reading guidance. Meanwhile, research also indicates that GenAI's reliance on statistical patterns often reproduces social biases in its output. Rather than viewing this as a limitation, this study uses GenAI's biased texts to promote literal and critical L2 comprehension. It introduces a Teacher-AI Collaborative Assessment model based on Dynamic Assessment (DA), which integrates instruction and assessment within Vygotsky's Sociocultural Theory.In the proposed model, teachers use AI-generated biased texts produced for educational purposes to support L2 learners' development of literal and critical reading performance. Forty-one elementary L2 learners were assigned to experimental (n = 21) and control (n = 20) groups and the students participated in a sequence of "Chatbot-assisted DA 1-Teacher Enrichment-Chatbot-assisted DA 2", where they engaged in reading comprehension activities mediated by AI in collaboration with a teacher. The two groups followed the same sequence mediated by the same AI, while at the teacher enrichment stage, the experimental group was consistently mediated by the teacher using biased texts, and the control group was taught using a textbook.Five types of scores produced through the two chatbot-assisted DA sessions (unmediated, mediated, gain, learning potential, and transfer scores) were quantitatively analyzed, and this analysis was supplemented with a qualitative analysis of scores from select students. The findings show how chatbot-assisted DA can be used to generate diagnostic information about reading performance. This study also demonstrates the effectiveness of the proposed model on literal and critical reading comprehension, as evidenced by a growth in the two groups' reading scores. The introduction of critical comprehension using AI-produced biased texts was found to better facilitate the experimental group's literal comprehension, demonstrating the utility of employing anti-bias texts as part of chatbot-assisted DA. Last, detailed discussions and implications are provided in relation to the roles of AI and critical thinking in the fields of reading education, educational technology, AI ethics, and language assessment.

Enhancing digital reading comprehension with coreference highlighted text

노지현 서울대학교 대학원 2019 국내석사

Existing studies reported that reading comprehension can be degraded during digital reading. Therefore, previous researches explored many traditional reading strategies such as annotating, note-taking, and highlighting on digital reading systems for improving digital reading comprehension. In this study, we use highlights as a digital reading aid and compared reading results of two different highlighted texts: coreference versus central sentence. Three different measures were used to evaluate reading: reading comprehension test, a questionnaire about self-assessment of performance for reading comprehension, and skimming pattern analysis. Our data shows that participants who read with coreference highlighted text showed a higher score of reading comprehension, more accurate self-assessment of performance for reading comprehension and exhibited less skim reading pattern than participants who read with central sentence highlighted text. Taken together, our results suggest that compared to the use of central sentence highlighted text, the use of conference highlighted text can aid in “attentive reading” in a digital reading environment. 디지털 장치를 활용한 독서가 널리 보급됨에 따라 컴퓨터와 같은 환경에서 일어나는 독서와 종이에 인쇄된 글에 대한 선형적인 독서에 대한 독서 양상의 차이점이 보고 되고 있다. 연구 결과에 따르면 이때 발생하는 독서 양상의 차이로 인하여 디지털 장치에서 독해력이 저하될 가능성이 있다. 본 연구에서는 디지털 독해에서 발생하기 쉬운 독해력 저하를 방지하고 향상시키기 위하여 시각 효과를 활용한 읽기 도구를 제안한다. 본 연구에서는 시각 효과의 효율성을 높이기 위하여 글의 각기 다른 부분에 하이라이트 시각 효과를 주었을 때 독서 양상을 관찰하였다. 첫 번째 조건에서 실험 참여자는 글의 중요한 문장에 하이라이트 효과가 들어간 글을 읽는다. 두 번째 조건에서 실험 참여자는 글의 연결 구문인 코레퍼런스에 하이라이트가 들어간 글을 읽는다. 본 연구는 해당 하이라이트 시각 효과가 어떤 부분에 적용될 때 독해력 향상에 효과적인지 관측하기 위하여 일기 평가, 자기 평가 설문지 및 스키밍 패턴 분석과 같은 세 가지 다른 측정 방법을 사용하였다. 실험 분석 결과, 실험참여자가 연결 정보인 코레퍼런스에 하이라이트 시각 효과를 주었을 때 중심 문장에 시각 효과를 준 실험 참여자보다 높은 읽기 평가 점수, 낮은 훑어 읽기 양상, 더 정확한 독해 수준에 대한 예측을 수행하였다. 따라서 본 연구 결과는 하이라이트를 글의 연결 정보인 코레퍼런스에 적용하였을 때, 디지털 독해 읽기를 교정에 효과적임을 제시한다. 더불어 본 연구는 하이라이트 시각 효과를 디지털 문서에 입힐 때, 글의 정보 수준에 따라 세밀하게 적용할 필요성을 제안한다.

한국어 숙달도 평가에서의 고급 읽기 영역의 다각화 연구 : 한국어능력시험 문항 개선 방안을 중심으로

이희영 경희사이버대학교 문화창조대학원 2025 국내석사

This study aims to propose a diversification strategy for assessing advanced-level reading proficiency in the Test of Proficiency in Korean(TOPIK II). As global demand for Korean language learning grows, there is an increasing need for high-quality assessments that reflect both linguistic proficiency and the communicative competence required in real-world contexts. However, current TOPIK reading items remain limited in format and content, lacking variety in text types and alignment with recent international assessment trends. To address this gap, the study analyzes ten official TOPIK reading test sets (2014–2023) and examines the evolving frameworks of global reading assessments, including PISA, PIRLS, NAEP, CEFR, ACTFL, and the Japanese-Language Proficiency Test(JLPT). Based on this analysis, the study identifies three essential dimensions of advanced reading ability: communicative reading, task based reading, and critical reading. These dimensions are proposed as a foundation for reconstructing reading items in a more authentic and functional manner. Drawing on the reading descriptors from CEFR(2020) and ACTFL’s Reading Proficiency Test(RPT), the study develops sample items that integrate real-life texts, goal-directed prompts, and multi-source reading tasks. These proposals aim not only to enhance the validity of TOPIK but also to align it with international standards for advanced reading proficiency. The study further highlights the under-representation of narrative, practical, and conversational texts in the current exam and provides item prototypes that reflect diverse reading purposes and processing skills. By incorporating comparative insights from other major language proficiency tests, this research addresses the lack of precedent in systematically applying global reading frameworks to Korean assessment contexts. The findings are expected to serve as a practical reference for item development and contribute to the academic discourse on the evolution of proficiency testing. Ultimately, this study contributes to the future-oriented development of Korean language assessment by offering practical insights and item design models that can support learners’ real-world language use and autonomous growth. Further research is suggested to explore implementation constraints, such as time allocation, item length, and copyright issues associated with authentic texts.

The Effects of Student Choice, Interest, and Performance on Standardized Reading Assessments

Stokes, Faida A Sam Houston State University ProQuest Dissertation 2020 해외박사(DDOD)

This study examined the effects of choice on student achievement using a criterion-referenced assessment with a quasi-experimental design and a non-experimental design to investigate the relationship between choice, interest, and performance on standardized reading assessment. Furthermore, the study explored the relationship between measures of choice (e.g., interest) and the standardized reading comprehension assessment with fourth and fifth grade students. The research was guided by two questions. Are there significant differences in reading comprehension assessment scores when reading ‘teacher-selected’ passages versus reading ‘student-selected’ passages? Is there a relationship between interest and performance on standardized readingcomprehension assessments?Based on the literature review, it was predicted that the provision of choice could increase the reading performance outcome on a standardized reading passage.Specifically, it was thought that choice would be a motivating factor in the students’ comprehension and result in a higher score, when compared to the no-choice performance. However, findings from question one established the provision of choice was not a significant variable impacting students’ scores on the standardized reading assessment, and findings from question two revealed no correlation between student preference for reading and achievement score. Implications for research, future research recommendations, and practical applications of choice through autonomy-supportive environments are discussed.

Textbook-based L2 Oral Reading Fluency of Korean EFL Middle School Students and its Association with L2 Reading Comprehension

황인경 서울대학교 대학원 2024 국내석사

In the realm of second language (L2) acquisition, the subject of oral reading fluency has attracted considerable attention. Various researchers have underscored the importance of oral reading fluency as a valuable metric for evaluating the reading comprehension abilities of L2 learners, owing to its notable correlation with L2 reading comprehension. This viewpoint has been recognized in adjacent countries to Korea, where English is instructed as a foreign language, prompting the inclusion of oral reading fluency in educational curricula and assessments. Nonetheless, within the framework of English education in Korea, the significance of oral reading fluency is not emphasized, and there is a scarcity of research on oral reading fluency concerning Korean English as a Foreign Language (EFL) learners. Consequently, there exists a gap in understanding the extent to which Korean learners read aloud texts at their grade level and the correlation between their oral reading fluency and reading comprehension. This research aims to address this gap and contribute to a broader understanding of the role of oral reading fluency in the reading abilities of Korean EFL learners. This present study investigates the oral reading fluency performance of Korean EFL middle school students and its association with L2 reading comprehension. A cohort of 192 ninth-grade students participated in the study, undergoing assessments for both L2 oral reading fluency and L2 reading comprehension. English materials from their grade-level textbook were utilized to assess students’ oral reading fluency. Informal reading assessments were implemented to gauge word reading accuracy, automaticity, and prosody—essential components of oral reading fluency. To mitigate concerns such as ‘word calling,’ a post-oral L2 reading comprehension was conducted to validate students’ understanding of the text while reading aloud. The results revealed that a mere 14% of the students demonstrated the ability to read independently, while the remaining 86% encountered challenges with their grade-level textbook. Notably, a significant correlation was observed between L2 oral reading fluency and L2 reading comprehension. Hierarchical multiple regression analyses unveiled that automaticity, a component of oral reading fluency, accounted for 31% of the variance in L2 reading comprehension. Moreover, the inclusion of prosody as a factor contributed an additional explanatory power of 20%, culminating in a comprehensive prediction of approximately 52%. The results of this study hold significant implications for the field of Korean English education, providing valuable insights into both L2 reading instruction and research. The conclusion of this study outlines the research limitations and presents recommendations for future investigations. 유창한 읽기는 학습자의 독해 능력에 영향을 미치는 중요한 요소 중 하나로 간주한다. 모국어 학습자의 읽기 능력에 관한 연구에서는 구술 읽기 유창성의 핵심 구성 요소인 단어 인식 정확성, 자동성, 그리고 구술 읽기 운율이 읽기 이해에 미치는 영향에 대해 다양한 연구가 이루어져 왔다. 그러나 영어를 외국어로 사용하는 학습자의 구술 읽기 유창성에 관한 연구는 주로 정확성과 자동성에만 주목되어 왔다. 본 연구는 한국 중학생들이 현재 학년에서 사용하는 영어 교과서의 글을 얼마나 유창하게 읽는지를 평가하고, 그들의 제2 언어 독해 능력에 미치는 구술 읽기 유창성의 개별 구성 요소를 조사했다. 총 192명의 한국 중학교 3학년 학생들이 연구에 참여하였으며 학생들은 구술 읽기 유창성과 읽기 이해도를 평가받았다. 평가자는 구술 읽기 유창성에서 정확성, 자동성, 운율을 평가하고, 학생들의 읽기 이해도 또한 측정하였다. 측정된 데이터는 위계적 다중 회귀분석 방법을 사용해 분석하였다. 연구 결과는 다음과 같다. 먼저, 참여한 192명의 학생 중 27명(14.1%)이 학년 수준의 지문을 독립적으로 소리내어 읽을 수 있었으며, 79명(41.1%)은 교사의 도움을 통해 지문을 읽을 수 있는 것으로 밝혀졌다. 그러나 86명(44.8%)은 지문을 소리내어 읽을 수 없거나 소리내어 읽을 때 적절한 이해 수준을 갖추지 못한 것으로 드러났다. 두 번째로, 구술 읽기 유창성의 각 구성 요소인 정확성, 자동성, 그리고 운율은 모두 독해 능력과 통계적으로 유의미한 상관관계가 있는 것으로 나타났다. 구술 읽기 유창성의 세 가지 구성 요소 중 학습자의 독해 능력을 어느 정도 예측할 수 있는지 파악하기 위해 위계적 회귀 분석 을 한 결과 자동성과 운율을 함께 측정했을 시 학습자의 독해 능력의 약 52%의 설명력을 보여 두 요소 모두 학습자의 독해 능력을 설명하는 유의미한 변수로 확인되었다. 본 연구의 주요 결과는 제2 언어 읽기 수업 및 읽기 연구에 중요한 교육적 시사점을 제공한다. 먼저, 영어를 외국어로 사용하는 한국 중학생 학습자의 구술 읽기 유창성과 독해 능력 간의 높은 상관관계를 통해 학습자의 구술 읽기 유창성은 독해 능력을 설명하는 지표로 활용될 수 있으며 구술 읽기 유창성의 각 구성 요소의 발달이 제2 언어 독해 능력 향상에 기여할 수 있음을 제시한다. 이러한 발견은 표준화된 읽기 시험 외에도 즉각적인 진단과 맞춤형 지도를 제공할 수 있는 비공식적인 평가를 통해 구술 읽기 유창성을 평가하고 활용할 필요가 있다는 것을 시사한다. 또한, 학습자의 제2 언어 독해 능력을 촉진하기 위해 구술 읽기 유창성의 단어 인식 정확성, 구술 읽기 속도, 그리고 구술 읽기 운율적 요소를 모두 포괄하여 수업과 평가에 적용하는 방법에 대한 시사점을 제시한다.

Tracking the Test-Taking Strategy Use of Korean EFL High School Students in Processing the Gap-Filling Inference Items of CSAT

박규리 서울대학교 대학원 2025 국내석사

The demand for test-taking has become an integral part of the academic experience for Korean secondary EFL learners, who aim to excel in a highly competitive, exam-oriented environment. At the center of high-stakes exams lies the College Scholastic Ability Test (CSAT). Gap-filling inference items in the CSAT English section have historically been the most difficult and discriminatory, posing significant challenges for test-takers. However, these gap-filling inference items have faced many criticisms for being susceptible to test-wiseness—the ability of test-takers to use cues independently of the knowledge or skills being assessed. Many practitioners, including teachers and administrators, question whether such items are sufficient for determining the anticipated test-taking process, which involves drawing logical inferences based on contextual understanding. The purpose of the present study is to examine the test-taking strategies used by test-takers while processing these gap-filling inference items. Additionally, the study will discuss whether these test-taking processes align with the assessment's goals, to determine if these items can legitimately claim cognitive validity—defined as the extent to which a test accurately engages the theoretical cognitive processes necessary to complete the task as designed. The present study explored 20 Korean high school senior EFL test-takers’ test-taking processes for six gap-filling inference items of CSAT English section, inferencing tasks that require test-takers to draw on relevant textual information to infer missing information, ensuring a coherent understanding of the text as a whole. The process of test performance was tracked via web-based eye-tracking measures and posterior stimulated recall interviews were conducted to verify the types of test-taking strategies involved and describe how they used them and why. Based on the predesigned coding scheme, which was later revised and refined through analysis of the transcribed interview data, the frequency of each test-taking strategy was recorded and visualized in 9-Quadrant Matrix, with the horizontal axis representing construct-inappropriate strategies (IA) and the vertical axis representing construct appropriate strategies (A), illustrating the interplay between the two types of strategies across test-taking instances. Among the 9 possible cases, three scenarios that challenge the validity of gap-filling inference items were identified. Case 1 (High IA x Medium A) represents overuse of IA, involving successful instances where test-takers relied heavily on IA despite limited use of A. Case 2 (Medium A x Low IA) represents underuse of IA, revealing that insufficient use of IA led to failure. Case 3 (High A x High IA) highlights unnecessary use of IA, signaling successful instances where test-takers with High A, who should theoretically not depend on IA, still relied on it to answer correctly. These cases were investigated by utilizing verbal reports from stimulated recall interviews and visualized eye-tracking data, such as gaze plots and heatmaps. The findings reveal that each scenario, overuse, underuse, or retreating use of IA, undermine the cognitive validity of these items. Case 1 participants relied heavily on IA by bringing in preconceptions as to where the sentence containing the test-wise cues typically lie, which acted as shortcuts to locate stem-specific or central information, after which they specifically adhered to the content of those sentences to match the option. Case 2 participants employed IA by activating prior knowledge to compensate for their lack of higher-order strategies, particularly when text cohesion was insufficient or inference using the implicit contextual coherence was required. Case 3 participants relied on IA by combining preconceived test-wise cues and prior knowledge to either guide their approach or compensate for their inability to make precise text-based inferences. In all cases, the test-taking processes raised concerns about cognitive validity. Overuse of unrequired skills led to item success, underuse resulted in failure, and the assessment of constructs independently of test-wiseness proved unfeasible. The findings emphasize the need for pedagogical approaches that address the overreliance on IA strategies. Educators should focus on fostering higher-order reading skills, such as contextual understanding and text-based inferencing, to reduce dependence on construct-inappropriate strategies and enhance the cognitive validity of gap-filling inference items. 한국의 중등 EFL 학습자들은 치열한 경쟁 속에서 뛰어난 학업적 성과를 거두기 위해 끊임없이 시험에 대비하는 시험 중심적 환경에 처해 있다. 특히, 수능 영어 영역의 문항 중에서 주어진 텍스트의 대의적 함의와 일관된 이해를 통해 누락된 정보를 추론하도록 하는 독해 문항인 빈칸추론은 가장 어렵고 변별력이 높은 유형으로 알려져 있다. 그러나, 빈칸추론 문항은 수험생이 시험 응시자가 자신의 지식이나 능력과 관계없이 단서를 활용하는 ‘시험 요령(test-wiseness)’에 취약하다는 비판을 받아왔다. 이에 대해 교육 전문가들, 특히 교사와 현장 전문가들은 빈칸 추론 문제가 실제로 시험 응시자가 문맥적 이해를 바탕으로 합리적인 추론을 도출할 수 있는 능력을 평가하는 데 충분한지에 대해 의문을 제기한다. 본 연구는 수험자가 빈칸 추론 문항을 처리하는 과정에서 사용하는 시험 전략, 즉 인지적 과정을 추적하고, 이러한 전략이 평가의 목표와 얼마나 일치하는지 분석하여 빈칸 추론 문항의 인지적 타당성(cognitive validity)에 대한 시사점을 제시하는 것을 목적으로 한다. 인지적 타당성이란 시험이 설계된 대로 과제를 완수하기 위해 요구되는 이론적 인지 과정을 얼마나 정확히 반영하는지를 의미한다. 본 연구는 20명의 고등학교 3학년 EFL 학습자들을 대상으로 빈칸 추론 문항 6개에 대한 시험 과정을 분석하였다. 웹캠 기반 웹 시선 추적 기법을 활용하여 수험자의 시선 경로를 기록하였으며, 이후 자극 회상 인터뷰(stimulated recall interviews)를 통해 수험자가 사용한 시험 전략의 유형, 사용 방식, 그리고 활용 이유를 구체적으로 확인하였다. 시험 전략의 종류와 사용 양상은 시험 전략 관련 선행 연구의 분류 체계를 바탕으로 코딩표를 구축하여 빈도와 패턴을 분석하였으며, 이를 9분할 행렬로 시각화하였다. 행렬의 가로축은 구성 부적합(construct-inappropriate) 전략을, 세로축은 구성 적합(construct-appropriate) 전략을 나타내어 두 전략 간 상호작용을 시각적으로 제시하였다. 행렬 가운데 시험 타당도를 낮추는 3개의 결합을 찾아내, 해당 사례들의 공통성을 추려 해당 집단의 시험 응시 방법을 분석하였다. 빈칸 추론 항목의 시험 타당도를 저해하는 세 가지 사례는 다음과 같다. 사례 1은 높은 수준의 구성 부적합 전략과 중간수준의 구성 적합 전략을 사용하여 문항을 맞춘 경우, 사례 2는 중간수준의 구성 적합 전략과 낮은 수준의 구성 부적합 전략을 사용하여 문항을 틀린 경우, 사례 3은 높은 수준의 구성 부적합 전략과 구성 적합 전략을 사용하여 문항을 맞춘 경우를 나타낸다. 사례 1의 경우 구성 부적합 전략에 의존하여 문항을 맞췄으며, 사례 2는 구성 적합한 전략에 의존하였지만 문항을 틀렸고, 사례 3은 충분한 구성 적합 전략을 활용할 수 있음에도 구성 부적합 전략을 사용하여 문항을 맞췄다는 측면에서 시험 타당도를 저해하고 있다. 회상 인터뷰를 통해 수집된 언어 보고와 시선 추적 데이터를 바탕으로, 수험자들이 구성 적합 및 구성 부적합 전략을 활용하여 빈칸 추론 문항을 처리하는 방식을 심층적으로 분석하였으며, 각각의 사례가 문항의 인지적 타당성을 어떻게 저해하는지 논의한다. 본 연구는 시험 요령에 대한 과도한 의존을 줄이고, 수험자가 문맥적 이해와 텍스트 기반 추론과 같은 고차원적인 읽기 능력을 강화할 필요성을 강조한다. 나아가, 교사들로 하여금 수험자들이 구성 부적합 전략에 의존하지 않고도 성공적으로 문제를 해결할 수 있도록 지도해야 한다는 교육적 함의를 제시한다.

읽기 후 요약하기가 파지에 미치는 영향 연구

최정은 연세대학교 대학원 2007 국내석사

본 연구는 읽기 후 요약하기가 기존의 읽기 후 선다형 문제 풀기와 비교했을 때 학생들이 읽기의 내용을 정확하게 파악하고 오래 기억하는데 얼마나 효과적인가를 살펴보는데 그 목적이 있다. 특히 학생들이 수행 평가로 읽기 후 요약하기를 하는 경우, 긍정적인 역류효과를 내어 읽기의 집중력이 향상되고 그에 따라 파지 효과가 좋아질 것이라는 가정을 증명하고자 하는 것이다.이러한 목적을 달성하기 위해서, Y 어학원 정기 평가 결과에 따라 같은 등급에서 동일한 교사가 수업을 실시하는 반을 각 등급 별로 두 개 반씩 총 여섯 개 반을 선정하였다. 1차 실험에서는 우선 두 그룹 모두에게 똑같은 두 개의 지문을 나누어 주었다. A그룹은 1번 지문의 경우 읽기 후 5개의 선다형 문제를 풀도록 하였고 2번 지문의 경우 읽기 후 요약하기를 하도록 하였다. B그룹 학생들에게는 반대로 1번 지문을 읽고 요약을 하도록 하였고 2번 지문에 대해서는 읽은 후 5개의 선다형 문제를 풀도록 하였다. 그로부터 2주일 후 두 지문에 대한 파지 효과 테스트를 실시하였다. 그리고 다시 일주일이 지난 후 학생들이 선호하고 있는 읽기 평가 방식에 관한 설문조사를 실시하였다. 요약 성적과 파지 효과 테스트의 성적은 t검정을 이용하여 분석하였고, 그 결과를 요약하면 다음과 같다.첫째, A그룹과 B그룹 모두가 읽기 후 요약하기를 한 지문에 대한 것을 읽기 후 선다형 문제를 푼 지문에 대한 것보다 더 많이 기억하고 있었으며, t-test 에서도 유의한 차이가 있었다. 이러한 유의한 차이가 있었다는 것은 읽기 후 요약하기가 선다형 문제에 비해 파지 효과에 있어서 긍정적인 효과를 줄 수 있다는 것을 입증한다.둘째, 학급별 분석을 통해 요약하기가 상위권과 중위권, 1학년과 2학년 학생들 중 어느 쪽에 더 효과가 있는지를 알아보았다. 중학교 2학년 중급 레벨의 한 학급을 제외한 모든 학급이 파지 효과 테스트에서 읽기 후 요약하기를 한 지문의 내용을 읽기 후 선다형 문제를 푼 지문의 내용보다 더 많이 기억하여 높은 성적을 내었다. 따라서 중학교 이상, 중간 등급 이상의 수준에서는 요약하기의 효과가 동일하다고 볼 수 있다.셋째, 설문조사를 통해 평가방법으로서의 요약하기와 선다형 문제 풀기에 대한 학생들의 체감 효과를 알아보았다. 이에 관련하여 73%의 학생이 요약하기의 과제가 주어져 있을 때 읽기 활동에 더욱 집중이 된다고 답하였으며, 82%의 학생이 읽기 후 요약하기 활동을 한 경우 그 내용이 더욱 기억에 오래 남는다고 응답하였다.이상에서 살펴본 것처럼 읽기 후 요약하기는 파지 효과에 도움이 될 뿐 아니라 학생들이 생각하는 좋은 평가 방법으로서도 상당히 긍정적인 면이 있는 것으로 나타났다. 학생들은 무엇인가 결과물을 제출하고 그것이 성적에 직접적으로 반영될 경우 상당한 집중력을 보이는 성향이 있다. 읽기 학습에 있어 내용에 관한 분석에 집중적으로 주의를 기울이게 되는 것은 파지효과에 도움이 되며 이러한 읽기 습관은 읽기능력 향상으로도 연결될 수 있다고 본다. 따라서 읽기 후 요약하기가 수행평가로서 지속적으로 이루어질 때 학생들의 읽기 능력 향상에 있어 긍정적인 효과가 있으리라 예상할 수 있다. This study compares the retention test results of middle school students based on two commonly used methods of retention testing: after-reading summaries and answering multiple choice questions based on the reading material.For this purpose, two first grade intermediate level classes, two first grade advanced level classes, and two second grade intermediate level classes were chosen. All classes were composed of middle school students of the Y language institute. At each level, the two classes were tested in advance and found to be identical in terms of reading skills. The students were divided into two groups. Group A consisted of one first grade intermediate class, one first grade advanced class and one second grade intermediate class. Group B was made up in the same way. Group A had a total of twenty-two students; group B had a total of eighteen students.In the experiment, two different passages were given to both groups. The members of group A were asked to answer multiple choice questions after reading the first passage, and to summarize the content after reading the second passage. The members of group B were asked to summarize the content after reading the first passage, and to answer multiple choice questions after reading the second passage. After two weeks, the same retention test was given to both groups.The t-test was applied to the results of the tests using the SPSS statistics package. First, on the retention test based on the first passage, group A obtained thirty-three percent and group B obtained sixty-six percent. On the test based on the second passage, group A obtained fifty-nine percent and group B obtained thirteen percent. Thus, both groups had higher scores on the retention test based on the passages they summarized.Second, the mean scores of each class in the retention test were analyzed to see which level benefited more by the summarization activity. Five classes out of the six tested obtained better scores on the retention test based on the passages they summarized.One week after the retention test, a questionnaire was given to the students asking them which method of testing they preferred: writing a summary, or answering multiple choice questions. Seventy-three percent of students said that they could concentrate better when they had to summarize the material and eighty-two percent of the students said that summarization helped them remember the content longer.While only a small number of students were involved in this experiment, the marked differences in the results of the retention tests of each of the groups seem to indicate that an after-reading summary has a positive effect in terms of performance assessment.

낭독 발화와 자유 발화에서 사람평가와 자동평가 영어 능숙도 점수 차이를 유발하는 유창성 자질 연구

박혜숙 연세대학교 대학원 2025 국내박사

A Study on Fluency Features Influencing Differences Between Human and Automated English Proficiency Scores in Read and Spontaneous Speech Park, Hyesook Interdisciplinary Graduate Program of Linguistics and Informatics Yonsei University Automated English-speaking assessment has gained attention as the importance of English as a communication-oriented language continues to grow. International English testing organizations have been researching automated assessment systems to address the time and economic limitations, as well as the subjectivity issues, associated with human evaluators. Particularly, fluency features that are suitable for automated evaluation and objectively measurable have become key elements in assessment models. To ensure the objectivity of such automated evaluation models, it is important to analyze the differences between human evaluation and automated evaluation. This study aims to identify pronunciation and fluency features that cause score differences between human and automated assessments across different types of speech, using both read and spontaneous speech data. The study utilized 10% of the audio and annotation files from the ‘The Korean English Speech Dataset for Language Education’. The results of the analysis of ‘pronunciation accuracy’ and ‘prosody’ scores, as well as their relationship with fluency features in read speech, are as follows: ● ‘Pronunciation Accuracy’ and ‘Prosody’ score differences between human and automated assessments were attributed to the ‘error_rate’ feature. For human evaluations, this feature contributed most significantly to both scores. ● In contrast, for automated evaluations, the speed-related feature ‘ar (articulation rate)’ was the most influential feature for the prosody score. The following are the results of the analysis of the relationship between ‘ReadSpeech_ScoreDifference’ and ‘Combined_Fluency Features’. In both evaluation methods, ‘MLP (mean length of pause)’ consistently showed the highest contribution. However, the positive (+) and negative (−) relationships of significant features observed in human evaluations were found to be reversed in automated evaluations. The final analysis of read speech, which examined changes in explanatory power when ‘Fluency Features’ and ‘Combined_Fluency Features’ were added to the ‘ReadSpeech_ScoreDifference’ model, revealed that the most significant difference between human and automated evaluations was the size of the regression model's explanatory power (21.4% vs. 75.2%). The following are the results of the analysis of "Spontaneous_Speech Fluency" and "Fluency Features" in the spontaneous speech data: ● The commonality between human and automated evaluations was the types of influential features, namely ‘ar’, ‘recrdTime’, and ‘peakLevel’. ● The difference lay in the explanatory power of the models and the ranking of the most significant features. In human evaluations, ‘ar’ was the most influential feature, whereas in automated evaluations, ‘recrdTime’ had the highest contribution. In the analysis of the influence of ‘Fluency Features’ on ‘Spontaneous_ScoreDifference’, the regression model was not suitable for human evaluations. However, in automated evaluations, ‘MLP (mean length of pause)’ was identified as the feature with the highest explanatory power. Finally, the hierarchical multiple regression analysis comparing the explanatory power of ‘Fluency Features’ and ‘Combined_Fluency Features’ for ‘Spontaneous_ScoreDifference’ showed that the regression model was not suitable for human evaluations. In contrast, in automated evaluations, as with the analysis of ‘Spontaneous_Speech Fluency’ and ‘Fluency Features’, ‘ar’, ‘recrdTime’, and ‘silmean’ were identified as significant features in both models. The discussion and conclusions based on the above analysis results are as follows. First, the primary difference between human and automated evaluations in both read and spontaneous speech was the explanatory power of fluency features. Automated evaluations consistently demonstrated higher explanatory power, suggesting that automated assessments may have a relative advantage in evaluating fluency. Second, in read speech, the feature that contributed to the score differences in ‘Pronunciation Accuracy’ and ‘Prosody’ between human and automated evaluations was error_rate. For human evaluations, this feature had the greatest influence on both scores. However, for automated evaluations, the most significant contributing feature for the ‘Prosody’ score was the speed-related feature ‘ar’. These findings suggest that Korean evaluators may be particularly influenced by segmental errors when assessing English proficiency. Third, in read speech, a common finding between human and automated evaluations was that ‘the frequency of long pauses(longpfreq)’ had a greater influence on score variation than the length of pauses. Additionally, the analysis of pause locations identified that the ‘within-clause pause ratio (PRWnCl)’ was a significant feature associated with automated scores. These findings suggest that the frequency and location of pauses may play a critical role in fluency assessment, highlighting the need for future research to explore other pause-related features, such as pause distribution. Lastly, a shared characteristic between human and automated evaluations in read speech was that speed-related features had a greater influence on scores than quantitative pause features. These conclusions are drawn based on the analysis results presented in this study. This research distinguishes itself by focusing on fluency features to analyze score differences between human and automated evaluations. The findings are expected to contribute to the development of English education and automated English-speaking assessment. Key words : English speaking assessment, English proficiency, human evaluation, automated evaluation, read speech, spontaneous speech, fluency features, speech rate, pause, error rate 낭독 발화와 자유 발화에서 사람평가와 자동평가 영어 능숙도 점수 차이를 유발하는 유창성 자질 연구 영어 말하기 자동평가는 의사소통 중심어로 영어의 중요성이 커짐에 따라 주목받고 있다. 국제적 영어평가 기관들은 인간 평가자가 가진 시간적·경제적 한계와 주관적 평가의 문제점을 보완하기 위해 자동평가 시스템을 연구해왔다. 특히, 자동평가에 적합하고 객관적으로 측정 가능한 유창성 자질이 평가모델의 핵심 평가 요소로 활용되어왔다. 이러한 자동평가 모델의 객관성 확보를 위해서는 사람평가와 자동평가 간의 차이를 분석하는 것이 중요하다. 본 연구는 발화유형에 따라 사람평가와 자동평가 간 점수 차이를 유발하는 발음 및 유창성 자질을 낭독 발화와 자유 발화 데이터에서 확인하는 데 목적을 두었다. 이를 위해‘언어교육용 한국인 영어 발화음성데이터’에서 낭독과 자유 발화 데이터 10%에 해당하는 음성 파일과 주석 파일을 활용하여 연구를 진행하였다. 먼저, 낭독 발화에서 사람평가와 자동평가에 의한‘발음정확성’과 ‘운율성’점수와 ‘유창성자질’과의 분석결과이다. ● 사람평가와 자동평가에서 ‘발음정확성’과 ‘운율성’ 점수 차이는 ‘error_rate ’자질에서 확인되었다. 사람평가에서는 이 자질이 두 점수 모두에서 가장 큰 영향을 미치고 있으며, 자동평가에서는 ‘운율성’ 점수에 속도 자질인 ‘ar’이 가장 큰 기여를 보였다. 다음은‘낭독_점수차’ 점수와 ‘통합_유창성자질’ 간 분석결과이다. 두 평가 방식 모두에서 공통되게 ‘MLP(평균 휴지길이)’가 가장 큰 영향을 미치는 것이 확인되었다. 그러나, 사람평가에서 유의미한 영향을 미친 자질의 정(+)적 및 부(-)적 관계가 자동평가와 반대의 영향을 미치고 있었다. 낭독 발화의 마지막 분석으로‘낭독_점수차’점수와‘유창성자질’과‘통합_유창성자질’을 추가 투입했을 때 설명력 변화 결과이다. 이는 사람평가와 자동평가 간 가장 큰 차이로 회귀모델의 설명력 크기로 확인되었다(21.4% vs. 75.2%). 다음은 자유 발화 데이터인 '개방발화유창성'과 '유창성자질'간의 결과이다. ● 사람평가와 자동평가의 공통점은 영향을 미치는 자질의 종류(ar, recrdTime, peakLevel)이다. ● 차이점은 모델의 설명력과 가장 중요한 자질의 순위이다. 사람평가에서는 ‘ar’이, 자동평가에서는 ‘recrdTime’이 가장 큰 영향을 미치는 자질로 나타났다. ‘자유발화_점수차’ 점수와 ‘유창성 자질’의 영향 분석결과, 사람평가의 경우 회귀모델이 적합하지 않았으나, 자동평가에서는 ‘평균 휴지 길이(MLP)’가 가장 높은 설명력을 가진 자질이었다. 마지막으로, ‘자유발화_점수차’ 점수와 ‘유창성자질’ 대비 ‘통합_유창성자질’의 설명력 비교를 위한 위계적 다중 회귀분석 결과는 사람평가에서는 회귀모형이 적합하지 않았다. 그러나 자동평가에서는 ‘개방발화유창성’ 점수와 ‘유창성자질’의 분석결과와 같이, 두 모델 모두에서 ‘ar’, ‘recrdTime’, ‘silmean ’가 유의미한 자질로 판명되었다. 이상의 분석결과를 바탕으로 진행된 논의과 결론은 다음과 같다. 첫째, 낭독 발화와 자유 발화에서 사람평가와 자동평가 간 공통적 차이점은 유창성 자질의 설명력 크기였다. 자동평가에서 일관되게 더 높은 설명력을 보였으며, 이를 통해 유창성 평가의 경우 자동평가가 상대적으로 더 큰 강점을 가진다고 예측할 수 있다. 둘째, 낭독 발화에서 ‘발음정확성’과 ‘운율성’사람평가와 자동평가 점수의 차이가 있는 자질은 ‘error_rate’이었다. 사람평가의 경우 두 점수 모두 이 자질이 가장 큰 영향을 미치고 있었으나, 자동평가의 경우, ‘운율성’점수는 속도 자질이 ‘ar’이 가장 높은 기여 자질로 판명되었다. 이 결과를 통해 한국인 평가자의 경우, 영어 능숙도 평가에 있어 분절음 오류에 큰 영향을 받는다고 추론할 수 있다. 셋째, 낭독 발화에서 사람평가와 자동평가 모두에서 긴 휴지빈도가 휴지길이보다 점수 변동에 더 큰 영향을 미친다는 공통점을 확인하였다. 휴지 위치 결과를 통해 자동평가 점수와 ‘절 내 휴지 비율(PRWnCl)’이 유의미한 자질로 확인되었다. 이러한 결과는 휴지의 빈도와 위치가 유창성 평가에서 주요한 역할을 할 가능성을 시사하며, 이를 기반으로 향후 연구에서는 휴지와 관련된 다른 자질(예: 휴지분포)을 탐색이 필요하다고 본다. 넷째, 낭독 발화의 자동평가와 사람평가 간 공통적 특징은 속도 자질들이 휴지의 양적 자질보다 더 큰 영향을 미치는 것으로 확인되었다. 이상은 본 논문에서 도출한 분석결과를 바탕으로 내린 결론이다. 본 연구는 사람평가와 자동평가 간 점수 차이를 유창성 자질을 중심으로 분석한 연구로, 기존 연구와의 차별성을 갖는다. 이 연구에서 얻어진 결론이 영어교육 및 영어 말하기 자동평가의 발전에 기여를 기대한다.