Enhancing Personalized Information Retrieval Performance considering Reading Comprehension and Text Difficlulty : 독해 수준과 텍스트 난이도를 고려한 개인화 정보 검색 성능의 향상

김유미 경북대학교 대학원 2024 국내석사

최근 몇 년 동안, 개인화된 정보 검색에 관한 연구는 사용자의 행동 패턴을 고려하여 그들의 정보 요구에 더욱 부합하는 방법을 찾기 위한 연구가 활발하게 이루어져왔다. 본 연구에서는 정보 검색 결과를 개인화하기 위해 사용자의 독해 수준과텍스트 난이도를 고려하여 세 가지 방법으로 재순위화하고 그 결과들을 비교하였다. 또한, 사용자의 독해 수준을 예측하기 위해 시선 추적 데이터(eye-tracking data)와텍스트 난이도를 활용하고 있다. 본 연구는 개인화된 정보 검색 성능의 향상 및 비교 분석을 위해 크게 RCIR(Reading Comprehension in Information Retrieval) 태스크와 RCT_RegBert 태스크의 두 가지 주요 태스크로 구성되어 있다. RCIR 태스크는 개인화된 검색 기술과시선 추적 데이터(eye-tracking data)를 통합하기 위한 NTCIR-16의 파일럿 태스크이고, RCT_RegBert 태스크는 독해 수준뿐만 아니라 텍스트 난이도까지 고려한NTCIR-16 RCIR 태스크를 벤치마킹하고 발전시킨 태스크이다. RCIR 태스크는Comprehension Evaluation Task (CET)와 Comprehension-based Retrieval Task(CRT)의 두 가지 서브 태스크로 이루어져 있으며, RCT_RegBert 태스크는 예측(Prediction) 서브 태스크와 검색(Retrieval) 서브 태스크로 구성되어 있다. 예측서브 태스크는 RCIR의 CET 서브 태스크와 연구 절차가 동일한 다섯 개의 회귀 모델을 사용하여 사용자의 이해도를 예측하는 것을 목표로 하며, 검색 서브 태스크는정보 검색을 통해 적합한 텍스트를 찾아낸 뒤 예측 서브 태스크에서 예측된 독해수준을 고려하여 재순위화하는 작업으로, RCIR의 CRT 서브태스크와 연구 방법과절차가 유사하다. 즉, RCIR 태스크와 RCT_RegBert 태스크의 주요 차이점은RCT_RegBert 태스크가 독해 수준뿐만 아니라 텍스트 난이도를 함께 고려한다는것이다. RCIR 태스크에서 회귀 모델의 예측 결과는 0.570이었고, RCT_RegBert 태스크에서 텍스트 난이도를 데이터셋에 통합하고 회귀 모델의 하이퍼파라미터를 조정한결과 예측 점수는 0.645였다. 또한 RCIR 태스크에서의 재순위화 평가에서 nDCG@4 점수는 0.651이었다. 그러나 RCT_RegBert 태스크에서 세 가지 다른 재순위화 방법을 적용하여 각각 0.847, 0.901 및 0.907의 점수를 얻었다. 참가자의 독해 수준을기준으로 이러한 결과를 비교하면 텍스트 난이도가 고려되었을 때 특히 독해 수준이매우 낮은 참가자의 경우 nDCG@4 점수가 크게 향상되는 것으로 나타났다. 따라서, 본 연구에서는 독해 수준과 텍스트 난이도를 함께 고려한 결과로서 개인화된 정보 검색 성능을 향상을 보여주었다. 본 연구의 결과는 시선 추적 데이터와 텍스트 난이도를 정보 검색에 활용하여 사용자 경험의 향상과 개인화된 정보 접근성, 작업 적합성, 그리고 학습 및 교육에 기여할 수 있을 것이다. In recent years, personalized information retrieval (IR) research has actively explored ways to better align with users’ information needs, considering their behavior patterns. In this study, to personalize IR results, the user’s reading comprehension and text difficulty were re-ranked using three methods, and the results were evaluated by nDCG. Additionally, to predict the user’s reading level, the study utilized eye-tracking data and text difficulty. Our research comprises two primary tasks: the RCIR task and the RCT_RegBert task. The RCIR task includes two subtasks, a Comprehension Evaluation Task (CET) and a Comprehension-based Retrieval Task (CRT). In contrast, the RCT_RegBert task consists of two subtasks: the Prediction subtask and the Retrieval subtask. The Prediction subtask (equivalent to the CET subtask in RCIR) aims to predict the users’ reading comprehension level using five regression models. The Retrieval subtask (corresponding to the CRT subtask in RCIR) incorporates IR results based on predicted comprehension level into the ranking outcomes. A notable difference between the RCIR task and the RCT_RegBert task is that the latter considers not only reading comprehension levels but also text difficulty levels. In the RCIR task, the regression model achieved a prediction outcome of 0.570. In the RCT_RegBert task, we introduced text difficulty into the dataset and adjusted the regression model hyperparameters, resulting in a prediction score of 0.645. Furthermore, the re-ranking evaluation in the RCIR task yielded an nDCG@4 score of 0.651. In the RCT_RegBert task, applying three different re-ranking methods produced scores of 0.847, 0.901, and 0.907, respectively. Comparing these results based on participants’ reading comprehension levels, it became evident that the nDCG@4 score showed significant improvements, particularly for participants with very low reading comprehension levels when the text difficulty was considered. Hence, this study aims to enhance personalized IR performance by incorporating both reading comprehension levels and text difficulty levels. By leveraging eye-tracking data and text difficulty in IR, we anticipate improvements in the user experience, personalized information access, task relevance, and contributions to learning and education.

The Effects of Text Length on EFL Learners' Reading Comprehension of Fill-in-the-blank Texts in KCSAT

김태형 서울대학교 대학원 2022 국내석사

독해에 관한 이론적, 경험적 배경에 의거하여 담화 이해 연구자들은 최근 독서 능력을 평가하는 표준화시험의 구인타당도에 대한 논의를 이어왔다 (Collins, Compton, Lindström, & Gilbert, 2020; Cutting & Scarborough, 2006). 독해는 독자와 텍스트 사이 역동적인 상호작용의 산물로서, 텍스트 내 변수는 독해에 있어 큰 영향을 끼친다 (Francis, Fletcher, Catts, & Tomblin, 2005). 담화 이해 과정을 분석한 주요 이론적 모델인 구성-통합 모형에 의하면 독자는 텍스트를 이해할 때 세 층위의 정신 표상 (표면 형태, 텍스트 모형, 상황 모형)을 구성하게 되는데 (Kintsch, 1988, 1998), 통제되지 않은 텍스트 내 변수는 독자가 이러한 정신 표상을 형성하는 방식에 예기치 못한 중대한 영향을 끼칠 수 있다. 따라서, 본 연구의 목적은 텍스트 길이를 중심으로 텍스트가 독해 평가에 미치는 영향에 대해 살펴보고자 하였으며, 이를 위해 상위 한국인 EFL 학습자에 초점을 맞추어 지문의 길이가 수능 영어 지문에 대한 독자의 이해력에 끼치는 영향을 상세히 분석해 보고자 한다. 짧은 지문과 긴 지문을 읽은 독자의 객관식 독해문항에 대한 수행능력과 지문에 대한 텍스트 모형 및 상황 모형을 비교 분석하고, 이를 통해 학습자들의 영어 읽기 수행에 있어 텍스트 특성의 중요성을 재고해 보고자 한다. 본 연구에 총 54명의 영어를 외국어로 학습하는 한국인 대학생 상급 독자들이 참여하였으며 절반의 참여자는 짧은 지문만 읽는 조건에, 나머지 절반은 긴 지문만 읽는 조건에 무작위로 배정되었다. 총 3개의 짧은 지문은 수능 영어 영역에 사용된 대로 긴 원문에서 발췌한 상태로 제공되었으며, 긴 지문은 각 짧은 지문이 발췌된 원문을 참고하여 맥락적 단서를 향상시킬 수 있는 한 개 혹은 두 개의 단락을 추가한 상태로 제공되었다. 지문이해도를 측정하기 위해 연구참여자는 각 지문마다 한 개의 객관식 빈칸추론 문항을 답하고, 추가로 자유회상 과업을 실시하도록 지시받았다. 과업을 통해 수집된 데이터에 대해 일련의 독립 표본 t-검정 혹은 이원분산분석을 실시하였으며, 이를 통해 지문의 길이에 따른 두 집단 간 객관식 문항 정답률과 텍스트 모형 및 상황 모형 형성에 대한 차이를 조사하였다. 연구 결과에 의하면 상급 한국 EFL 학생들은 긴 지문을 읽었을 때 객관식 문항에 대한 수행 능력이 통계적으로 유의미하게 향상되었다. 텍스트 모형의 경우, 긴 지문을 읽은 독자들이 지문의 내용을 유의미하게 더 많이 기억하였으며, 특히 텍스트의 전체적인 요지로 규정되는 의미적 거시 명제 (semantic macro-proposition)에 대한 회상이 가장 유의미하게 향상되었다. 상황 모형의 경우, 긴 지문보다 짧은 지문에서 학생들은 부정확한 추론을 유의미하게 더 많이 생성하였다. 그러나 이러한 추론생성 과정에서 드러난 두 집단 간 상황 모형의 차이를 기존 객관식 문항은 충분히 측정하지 못하는 것으로 발견되었다. 주요 결과에 의하면, 지문의 길이는 상위 독자들의 글에 대한 응집성 있는 정신표상의 형성(coherent mental representation of a text)에 상당한 영향을 끼치는 것으로 드러났다. 이러한 결과는 독해 평가에 대한 함의를 제공한다. 학생들의 독해능력을 보다 정확하게 측정하기 위해서 지문은 충분한 정보의 양을 제공해야 하며, 특정 문제 유형의 경우 독자의 상황 모형에 대한 정확한 측정을 제공하지 못할 수 있다는 점을 재고해보아야 한다고 제안하고 있다. Armed with theoretical and empirical tools of text comprehension, discourse researchers in recent years have challenged the construct validity of standardized reading assessment (Collins, Compton, Lindström, & Gilbert, 2020; Cutting & Scarborough, 2006). As a product of reader-text interaction, reading comprehension is critically affected by the variability in texts (Francis, Fletcher, Catts, & Tomblin, 2005). Left unattended, text variability is capable of introducing an unforeseen yet critical variance to how readers process three levels of understanding in reading comprehension: surface form, textbase, and situation model. The present study attempts to examine the contribution of text, focusing on text length, to reading comprehension assessment. More specifically, the current study focuses on the effects of text length on highly advanced English as a foreign language (EFL) readers’ text comprehension of English texts from the Korean College Scholastic Ability Test (KCSAT). Exploring short text and long text readers’ performance on multiple-choice questions and their construction of textbase and situation model will shed light on the importance of textual factors affecting the variance in students’ reading performance. A total of 54 Korean EFL readers of highly advanced proficiency participated in the current study, half of whom were randomly distributed either to the Short Text (ST) or Long Text (LT) condition. Short versions refer to passages as used in the KCSAT. Longer versions were constructed by referring to the primary sources from which KCSAT passages were taken and adding one or two paragraphs that can enhance contextual clues. For each passage, participants completed one fill-in-the-blank multiple-choice question taken directly from the KCSAT and produced a free written recall. The collected data were then entered into a series of independent samples t-tests or a two-way repeated measure analysis of variance (ANOVA) to examine the differences in the correct rate of answers to multiple-choice questions and in textbase and situation model understanding as a function of text length (short, long). The results showed that advanced Korean EFL readers performed significantly better on multiple-choice questions when provided with longer versions. Moreover, the LT group retained more textual content in memory, and they excelled in recalling the most superordinate idea units of texts, indicating their superiority in textbase understanding. In addition, the LT group made a significantly fewer number of inaccurate inferences. They rarely misinterpreted the gist of a text, signifying that they generated a more accurate situation model than the ST group. The findings as a whole demonstrate that text length had a critical impact on whether readers can form a coherent understanding of a text. Such findings raise a question about the validity of current test items of the KCSAT English and suggest that the sole administration of multiple-choice questions may not be fully sensitive in measuring the quality of the reader’s situation model of a text.

작업기억 용량과 컴퓨터 기반 텍스트 양식이 텍스트 이해에 미치는 효과

김민선 연세대학교 대학원 2004 국내석사

정교화 유형과 자기맥락화가 텍스트 기억 및 이해에 미치는 영향

이보람 홍익대학교 대학원 2014 국내석사

Study should be meaningful to the learner for effective learning. The notion of ‘meaningful’ can be interpreted by two ways. Firstly, learners should be able to judge that contents to be learned are meaninful to their lives. If they evaluate learning contents are meaningful, they provide learners with interests and motivation. Secondly, contents should be learned in meaningful ways and processes. ‘The meaningful process’ means understanding the underlying meaning’s of contents. It also means that connecting with one’s background knowledge. Elaboration strategy is one of the learning strategies which focuses on contents or structures in many ways so that one can have better chance to retrieve those contents. On the other hand, emotion is another crucial factor that affects memory. Existing body of literature suggestted that contents with higher emotional value tend to be remembered better than those with lower emotional value. In this study, it was postulated that emotional elaboration would have positive effects on recall or comprehension of texts. The question is whether or not it is better strategy for learning texts compare to cognitive elaboration. Researchers already know that cognitive elaboration is one of the best strategies to remember and understand texts. However, this study assumes that emotional elaboration can be also useful strategy, because existing body of literature suggested that contents with higher emotional value tend to be remembered better than those with lower emotional value. Another factor considered in this study was self-contextualization effect on text memory and comprehension. Self-contextualization refers to putting texts in learners' life contexts and situations. That is, this self-contextualization strategy can be understood as reinterpretations of texts in learners' perspectives. To conduct the study, a text for one young lady's life story was chosen. The story itself was a real one, which she overcame her handicap of physical and social environments. As it was described above, two independent variables were elaboration type and self-contextualization and dependent variables were text recall and comprehension. Total of 96 students attending at a university located in Seoul were volunteered to participate in this study. They were randomly assigned to one of four conditions; (1) cognitive elaboration with self-contextualization, (2) cognitive elaboration with no self-contextualization, (3) emotional elaboration with self-contextualization, (4) emotional elaboration with no self-contextualization. One hour long experiment was conducted. Before the experiment, all the students were tested about their affective intensity. All four conditions was not statistically significant on this affective intensity measure. Students in cognitive elaboration and emotional elaboration strategy condition received different text according to their elaboration condition. Students in self-contextualization condition also were asked to make story personal to their lives. After the experiment, immediate recall and comprehension tests were conducted and also a delayed test after one week was conducted. To test the hypotheses, two way ANCOVA were utilized. The research results were as follows. Firstly, emotional elaboration was more effective than cognitive elaboration for the test of text memory and text comprehension. Secondly, for self-contextualization factor, there was no meaningful effect of self-contextualization for text memory and comprehension. In this study, we confirmed that the effect of emotional elaboration was more effective in free recall task and cued recall task(text memory) than true of false task(text comprehension). And self-contextualization was not effective because it was not manipulated enough so that it can produce some experimental effects. The results of this study gave us some important insights on emotional value of learning contents. Firstly, learning materials should be carefully designed so that students can have emotional elaboration effects. Secondly, learning materials should provide enough emotional contexts. Therefore, it would be better if it is rather a long interesting story that reveals emotional values. In this study, we examined effect of emotion not as a trait but as an affect of learning material. And we suggested utilization of affective value for discourse in actual learning context. 학습이 잘 이루어지기 위해서는 학습자에게 의미있는 학습이 되어야 한다. 이 때, ‘의미있다’는 것은 두 가지 측면에서 이야기 할 수 있다. 첫째는 학습자가 학습내용이 자신의 삶과 관련하여 ‘의미있는 내용’이라고 평가하는 것이다. 학습자가 학습내용을 의미있다고 평가하게 되면, 흥미와 동기를 지속시킬 수 있다. 두 번째로 학습하는 과정과 방법이 의미있어야 한다. 의미있는 방법이란 어떤 정보가 가진 속뜻을 파악하고, 기존에 자신이 가진 지식과 관련지어 깊이 있는 정보처리를 하는 것이다. 정보의 의미있는 처리를 돕는 학습전략 중 하나가 정교화 전략이다. 정교화 전략은 새롭게 학습하는 내용을 자신의 기존 지식과 연합시키거나, 새로운 학습 내용의 이해와 기억을 돕는 추가 정보들을 함께 학습함으로써 인출의 경로를 다양하게 만드는 방법이다. 이는 인지적 차원에서 정보가 장기 기억에 저장되고 또 인출되는 것을 돕는 방법이다. 기억에 영향을 주는 또 하나의 요인은 ‘정서’이다. 정서가가 높은 내용은 정서 중립적인 내용보다 잘 기억되며, 기억이 오래 지속된다. 본 연구에서는 정보의 의미있는 처리를 돕는 정교화 방법에 ‘정서가’를 결합한‘정서적 정교화 전략’을 제안하고 기존의 ‘인지적 정교화 전략’과의 차이를 검토하였다. 또 학습자가 학습의 내용이 자기의 삶과 관련하여 의미있다고 평가하도록 촉진하기 위하여 학습내용을 자신의 삶과 관련지어 생각하는 ‘자기맥락화’ 수행을 처치하고 그 효과를 살펴보았다. 학습자들의 실제 학습맥락과 유사한 조건에서 실험하고자 ‘덩이글’의 형식을 취하고 인지적 정교화 전략과 정서적 정교화 전략을 활용하여 텍스트를 만들었다. 학습자들이 흥미를 가지고 글을 읽도록 하기 위하여 ‘어려움을 극복한 한 개인의 삶’을 텍스트의 제재로 하였다. 독립변인은 정교화 유형과 자기맥락화 수행 여부이며 종속변인은 텍스트 기억 및 이해 점수이다. 본 연구에 참여한 연구대상은 서울 소재의 H대학교 96명의 학생이었으며 인지적 정교화 텍스트로 학습하는 집단(CE1), 인지적 정교화 텍스트로 학습하고 자기맥락화를 수행하는 집단(CE2), 정서적 정교화 텍스트로 학습하는 집단(EE1), 정서적 정교화 텍스트로 학습하고 자기맥락화를 수행하는 집단(EE2)으로 나누어 실험하였다. 본검사와 지연검사를 통하여 얻은 자료는 SPSS 프로그램을 활용하여 이원 공변량분석(ANCOVA)하였다. 분석결과는 다음과 같다. 정서적 정교화 텍스트로 학습한 집단이 인지적 정교화 텍스트로 학습한 집단 보다 텍스트 기억을 잘 하는 것으로 나타났다. 텍스트 이해에 있어서도 정서적 정교화의 효과가 유의하게 나타났다. 자기맥락화 여부에 있어서는, 자기맥락화를 수행하지 않은 집단이 수행한 집단보다 텍스트 기억 점수와 텍스트 이해 점수가 모두 높았다. 이러한 결과는 본검사와 지연검사 모두에서 동일했다. 그러나 그 유의미한 차이는 지연검사 중 자유회상 기억 점수에 관해서만 나타났다. 즉, 자기맥락화 수행의 유의미한 효과는 나타나지 않았다. 본 연구를 통해서 정서적 정교화의 효과는 텍스트 이해 보다 텍스트 기억에서 크게 나타나며, 자기맥락화 수행은 자기맥락화의 수준이 깊지 않은 경우 효과적이지 않음을 밝혔다. 이러한 연구 결과는 정서가가 기억 및 학습에 미치는 영향이 어떠한지를 학습자의 특질로서의 정서가 아닌 학습 재료의 정서 차원에서 살펴보았다는 점에서 의의가 있다. 또 학습자의 실제 학습 맥락과 유사한 덩이글 차원에서도 정서가가 기억 및 학습에 긍정적인 영향을 미친다는 것을 밝혀, 학습 효과를 높이기 위한 한 방법으로 상태적 차원의 정서의 활용 가능성을 탐색하였다는데 의의가 있다.

Korean high school EFL readers’ processing of temporal information in English narrative texts

이원일 서울대학교 대학원 2015 국내석사

There has been a consensus that readers create three different levels of representation such as surface, text-based, and situation model (Johnson-Laird, 1983; Just & Carpenter, 1987; Kintsch 1998; van Dijk and Kintsch, 1983). The surface and text-based representation refers to linguistic representation such as exact wording, sentences, and the semantic meaning representation conveyed by the text itself as a combination of sentences. The situation model has been regarded as “the reader’s representation of the world the text to” (Just & Carpenter, 1978). Zwaan, Langston, & Graesser (1995) proposed a general situation model, which is empirically testable. This is called the Event-Indexing Model. The model assumes that events in a story are organized in memory based on a series of five dimensions: 1) temporality (e.g., the order or duration of events); 2) spatiality (e.g., locations); 3) causality (e.g., how one event influences another event); 4) intentionality (e.g., goals); 5) protagonist (e.g., main character actions or emotions). A group of studies have examined the effects for each dimension of situation model regarding L1 reading comprehension process. Until now, however, only one study (Zwaan & Brown, 1996) provided empirical support for the construction of situation model in L2 reading comprehension. In fact, there has been no research in the Korean EFL contexts. Thus, the present study is the first attempt to broaden the theoretical approaching of Event-Indexing model into Korean high school EFL environment. In line with prior research, this thesis is designed to investigate whether and how Korean High School EFL readers process and represent time (duration) in situation-model construction. This study poses following questions: 1) Will Korean EFL high school students detect inconsistency in duration-related information when they read narrative texts in English? 2) Is there any difference in EFL readers’ temporal information processing according to their levels of English proficiency? In the experiment, the researcher examined how duration-related inconsistencies (consistent, short inconsistent, long inconsistent) influenced processing time of Korean high school students for three proficiency groups (High, Intermediate, Low). The data were analyzed by one-way within (& between)-subject ANOVAs and paired t-tests. The main findings of the study are as follows: (1) Korean EFL readers in overall group were found to detect inconsistency in duration-related information when they read narrative texts in English. Korean high school students did spend more time reading the target sentences with short duration inconsistency than with long duration inconsistency. (2) Considering readers’ proficiency, there was processing speed difference among proficiency groups. In other words, groups with higher level of proficiency read faster than groups with lower level of proficiency across three temporal conditions. In terms of processing time according to temporal inconstancy, High Proficiency group demonstrated significant difference across temporal conditions while Intermediate and Low Proficiency groups did not. Only High Proficiency group spent more time reading the sentences with short duration inconsistency than with consistent or long duration inconsistency. Results indicate that native-like L2 processing of temporal information was achieved by highly proficient Korean EFL learners and it was not the case for lower level of participants. This provides the first evidence for the Korean EFL readers’ situation model construction during the English narrative comprehension. These results were discussed in terms of the Event-Indexing Model and implications for L2 pedagogy were considered.

An Investigation into Factors Affecting Teachers' Implementation of a Reading Comprehension Strategy

Lambright, Kacee Michele Texas A&M University ProQuest Dissertations & Thes 2023 해외박사(DDOD)

Professional development (PD) is defined as ongoing learning opportunities available to educators and is known to be one of the most important tools in improving the effectiveness of teachers and teaching practices. Results from state and national reading assessments indicate that reading achievement among grade 4 and grade 8 students has continued on a downward trajectory for several decades. In knowing that making meaning of the text is the goal of reading, teachers providing students effective instruction in reading comprehension is essential. Intentional instruction in reading comprehension begins with teachers receiving effective PD leading to growth in teacher knowledge and practice, resulting in student gains in reading comprehension. However, research has shown that many PD initiatives fail to achieve changes in teachers’ practices, which leads one to consider what occurs throughout PD that may encourage or discourage teachers from being open to change. Factors such as a teacher’s mindset, zone of proximal development, self-perception of abilities to teach reading comprehension, attitudes and beliefs related to PD, and feelings about pedagogical change should be considered when teachers attend a PD event. This research aims to identify the variables which may foster or hinder a teacher’s ability to implement evidence-based practices learned at a reading comprehension professional development event.

명사 시어의 의미 분류 중심의 고전시가 이해 교육 연구 : <관동별곡(關東別曲)>을 중심으로

송미지 서울대학교 대학원 2021 국내석사

이 연구는 고전시가 시어(詩語)의 의미 실현 유형을 시어가 텍스트 맥락과 관계 맺는 양상에 따라 분류하고, 이를 바탕으로 핵심적인 시어를 중심으로 한 고전시가 교육의 내용과 방법을 마련하는 것을 목적으로 한다. 시어의 의미는 텍스트의 맥락과 상호 작용하여 실현될 뿐만 아니라 텍스트를 둘러싸고 있는 사회·문화적 차원과도 밀접한 관련이 있다. 따라서, 시어의 의미를 이해하는 것은 단순히 어휘의 사전적(辭典的)인 의미를 아는 것과는 구분되며, 작품을 문학적인 텍스트로 이해하고 감상하는 데에 있어 핵심적인 요건이 된다. 즉 학습자들이 고전 시가 텍스트를 시적인 텍스트로 받아들일 수 있도록 하기 위해서는 텍스트와 시어가 상호적으로 영향을 주고받으며 구성해내는 의미를 섬세하게 유형화하여 분석해야 할 필요가 있다. 특히, 고전시가 작품군 가운데서도 기행가사는 그 장르적 성격상 작품 내에 학습자들에게 익숙하지 않은 고유명사와 한자어가 많이 유입되어 있기 때문에, 학습자들이 시어와 텍스트 맥락의 상호적 작용을 이해하고 그를 바탕으로 작품을 심도 있게 읽어 내기 어려운 장르이다. 이러한 이유로 본 연구에서는 기행가사의 대표적인 작품인 <관동별곡(關東別曲)>을 대상 텍스트로 삼았다. 텍스트 맥락과 관련한 시어의 의미 유형을 분류하기 위해서는 어학과 문체학의 이론적인 논의를 참고하였으며, 그 결과 크게 세 가지의 의미 실현의 원리를 살필 수 있었다. 시 텍스트 내에서의 시어의 의미는 문맥에 의해 다의성과 다층성을 지니며, 텍스트의 구조에 의한 전경화 원리에 의해 시어 의미의 부각과 약화가 일어나고, 시어의 어학적 자질에 따라 시어와 시적 대상과의 관계 양상의 차이가 발생한다. 이러한 시어의 의미 실현 원리에 대한 전제를 기반으로 본고에서는 <관동별곡>에 나타난 시어를 인간이 명사류에 대해 지니는 인식적인 범주에 따라 ‘사물 명사 시어’, ‘공간 명사 시어’, ‘추상 명사 시어’로 분류하였으며, 각각의 범주를 시어의 의미가 문맥과 갖는 관련성에 따라 ‘개념적 의미’, ‘문맥적 의미’, ‘조정적 의미’의 세 가지 의미 실현 유형으로 다시 나누어 9가지의 의미 유형을 도출하였다. 이러한 의미에 따른 시어의 유형 분류를 바탕으로 Ⅲ장에서는 시어의 유형이 <관동별곡>의 기행 체험이 형상화되는 양상과 밀접한 관련이 있으며, 각각의 유형에 따라 체험의 형상화에 기여하는 역할이 구분되는 것을 확인할 수 있었다. ‘사물 명사 시어’의 경우 시적 대상에 대한 평가와 의미 부여에 핵심적인 기능을 하였고, ‘공간 명사 시어’ 는 전반적으로는 여정을 서술하고 작자의 가치관을 표현하는 역할을 하였으며, ‘추상 명사 시어’의 경우 전반적으로 상상적 사고를 자극하는 역할을 하였다. 또한 각각의 명사 시어들의 세부적인 역할 또한 의미 실현 유형에 따라 구분되었다. Ⅳ장에서는 시어 의미의 세분화와 시어가 시적 진술에서 담당하는 역할에 따라 시어의 의미 분류를 중심으로 한 <관동별곡>의 교육 내용을 마련하였다. 시적 진술에서 초점화되어 부각되는 개념적 공간 명사와 사물 명사를 중심으로는 ‘공간의 초점화’를 주요 교육 내용으로 삼을 수 있었으며, 은유의 중심축을 담당하고 있는 변이적인 사물 명사를 통해서는 ‘은유의 생성’을 교육 내용으로 구상할 수 있었다. 마지막으로 문화적인 지식의 이해가 필요한 조정적 공간·사물 명사를 중심으로는 텍스트가 담고 있는 ‘심층 의미의 이해’를 교육 내용으로 세울 수 있었다. 또한 각각의 교육 내용은 ‘공간 시어와 비공간 시어의 비교 활동’, ‘변이적 사물 시어의 시각화 활동’, ‘문자적 의미와 조정적 의미에 대한 탐구 활동’이라는 교육 방법과 대응되었다. 학습자들은 이러한 구체적 교수 학습 활동들을 통해 시 텍스트를 구성하고 있는 시어의 다층적인 의미 실현 방식을 보다 섬세하게 이해하고, 작품에 나타난 기행의 체험을 추체험할 수 있으며, 비유적 시어를 통해 작품의 언어 세계를 감상할 수 있게 된다. 이 연구는 고전 시가 텍스트의 시어의 의미에 대한 분석과 그를 기반으로 한 교육 내용 및 방법의 마련을 통해 학습자들이 텍스트의 미시적 구성 요소인 시어로부터 총체적인 작품 텍스트의 이해와 감상까지 이르는 일련의 과정 사이의 연결고리를 마련하고, 작품을 보다 풍요롭게 감상할 수 있도록 교육적인 조치를 구체적으로 마련하였다는 점에서 그 의의가 있다. 그러나 대상 텍스트가 <관동별곡>으로 한정되었고 실제 학습자 자료가 부재한다는 점에서 그 한계가 있으므로, 추후의 연구에서 다른 텍스트에 대한 응용 예와 실제 학습자들을 대상으로 한 검증 실험이 새로이 요청되는 바이다. This study mainly aims to alleviate the cognitive burden of learners that they experience during the process of comprehending classical poetry. In order to achieve this purpose, research was carried out analyzing the semantic types of the poetic words, which are microscopic components of the poetic texts. Based on the results of this classification, poetic words that are essential and fundamental to understand poetic texts were sorted out. Then, educational contents of “Kwan-dong-byeol-gok” were designed around these essential words, and specific educational methods of each educational content were devised in consideration of the role of the poetic words in the poetry. The research relies on a premise that the realization of the meaning of the poetic word is closely related to the poetic context. In this paper, linguistic and stylistic discussions were referred to analyze this relationship between poetic words and poetic text. As a result, it was able to be confirmed that the poetic words are classified into three categories of meaning―space, thing, and abstract―and each category is re-divided into three types of meaning realization―literal, adjusted, and variant. To make it simple, there are a total of nine semantic classifications. Then, it was discovered that each type of poetic words was closely connected to the pattern in which the experience of travel was embodied in the “Kwan-dong-byeol-gok.” In the case of poetic words of “thing”, it was found that they plays a central role in suggesting poetic speaker’s assessment of the subjective value of poetic objects. Second, poetic words of which meanings are related to "space" mainly undertake stating the process of travel experience and expressing personal values of the author. Lastly, poetic words in category of "abstract" plays a role by and large in stimulating and enlarging imaginative scope of readers. In addition, more detailed function of each category of poetic words are divided according to the three types of sementic realization. To utilize the result of preceding analyzation of poetic words in real-world pedagogical sites, in chapter Ⅳ, according to the educational importance of the poetic words, a few types of poetic words could be selected to design educational contents: ‘focal places’, ‘metaphors’, and ‘advanced meaning of the text’. Furthurmore, each educational content corresponds to the following educational methods: ‘comparing the meaning of space words with non-space words’, ‘visualization of metaphorical object words’, ‘exploring literal and adjusted meanings’. Through these methods, learners can effectively understand the esoteric text with little cognitive effort. The significance of this study is that it specifically devised educational measures to provide links to a series of processes ranging from understanding to appreciation of literary texts and to enrich the experience of reading literature.

한국어 숙달도 평가에서의 고급 읽기 영역의 다각화 연구 : 한국어능력시험 문항 개선 방안을 중심으로

이희영 경희사이버대학교 문화창조대학원 2025 국내석사

This study aims to propose a diversification strategy for assessing advanced-level reading proficiency in the Test of Proficiency in Korean(TOPIK II). As global demand for Korean language learning grows, there is an increasing need for high-quality assessments that reflect both linguistic proficiency and the communicative competence required in real-world contexts. However, current TOPIK reading items remain limited in format and content, lacking variety in text types and alignment with recent international assessment trends. To address this gap, the study analyzes ten official TOPIK reading test sets (2014–2023) and examines the evolving frameworks of global reading assessments, including PISA, PIRLS, NAEP, CEFR, ACTFL, and the Japanese-Language Proficiency Test(JLPT). Based on this analysis, the study identifies three essential dimensions of advanced reading ability: communicative reading, task based reading, and critical reading. These dimensions are proposed as a foundation for reconstructing reading items in a more authentic and functional manner. Drawing on the reading descriptors from CEFR(2020) and ACTFL’s Reading Proficiency Test(RPT), the study develops sample items that integrate real-life texts, goal-directed prompts, and multi-source reading tasks. These proposals aim not only to enhance the validity of TOPIK but also to align it with international standards for advanced reading proficiency. The study further highlights the under-representation of narrative, practical, and conversational texts in the current exam and provides item prototypes that reflect diverse reading purposes and processing skills. By incorporating comparative insights from other major language proficiency tests, this research addresses the lack of precedent in systematically applying global reading frameworks to Korean assessment contexts. The findings are expected to serve as a practical reference for item development and contribute to the academic discourse on the evolution of proficiency testing. Ultimately, this study contributes to the future-oriented development of Korean language assessment by offering practical insights and item design models that can support learners’ real-world language use and autonomous growth. Further research is suggested to explore implementation constraints, such as time allocation, item length, and copyright issues associated with authentic texts.

(The) effects of text length and question type on the reading comprehension test performance of Korean EFL readers

배민령 서울대학교 대학원 2017 국내석사

The factors affecting English as a foreign language (EFL) learners’ reading comprehension have brought up much controversy. Among such factors, the literature on the contribution of text input, especially text length to reading performance, however, is quite limited in offering convincing evidence. Therefore, the present study examines the text input, especially, the influence of text length on Korean EFL readers’ text comprehension and their perception focusing on their inference generation process and their use of strategy depending on the two different reading contexts: short or long passages. A total of 202 Korean EFL learners participated in the present study; 100 of them were college students and 102 were high school freshmen and sophomores. Half of each group took a reading comprehension test consisting of 4 passages (2 short and 2 long) from the CSAT (College Scholastic Ability Test) and half took the other test format consisting of 4 passages (2 long and 2 short), as well. The long version of the test was made from its original restored version in which one or two paragraphs were added to the truncated one. The analysis of the data was then conducted through running a paired samples t-test and a repeated measure two-way analysis of variance (ANOVA). The results show that the influence of text length on readers’ performance, question types (multiple-choice and open-ended inference generation questions) is significant. Moreover, it was proved that both college and high school students performed significantly better on open-ended questions which required an inference generation process when the longer texts were given to the test-takers. Besides the main effects, a significant interaction effect between text length and question type was shown for the college students of higher proficiency level of English. On the other hand, in terms of their perception of the two different reading passages, the results of the college and high school readers were not consistent. The college students perceived that their reading comprehension benefited from the long passages rather than the short ones. However, for the high school students, they seemed to prefer the short passages over the long ones, but the difference was marginal and did not have any statistical significance. In addition, the participants’ responses in stimulated recall interviews revealed some critical information to indicate that the longer text can better assist the EFL readers’ comprehension process. All things considered, these findings have implications for reading comprehension test developers when it comes to deciding on which reading passages to use while setting up to reading comprehension tests, especially if they are high-stake nationwide public examinations, such as the CSAT. Moreover, they shed more light on the importance of the selected factors which can result in better performance of EFL readers.

Designing and evaluating machine reading methods for multi-domain texts

김성순 Graduate School, Korea University 2017 국내박사

Over the last decade, we have witnessed an explosion of information available on the Web in the era of Big Data. Today, multiple data sources, from the user generated content to scientific literature, produce massive amounts of valuable data mostly in text format. However, the processing capabilities of humans cannot keep up with the speed of data growth, making it increasingly difficult to convert information to knowledge. As a result, efforts have been made to automatically extract and structure information from many text corpora in the data mining and natural language processing research communities. In recent years, due to the development of artificial intelligence technology especially deep learning, existing text mining and Natural Language Processing (NLP) technology has developed beyond simple knowledge extraction to a level where a machine can understand the meaning of a text and perform various tasks through it. This dissertation proposes machine reading methods for solving machine comprehension tasks on multi-domain text corpora. Whereas existing systems focus solely on performance evaluation using benchmark datasets, we first define a concept of machine understanding from cognitive informatics perspective. Then, we introduce a new machine understanding method using concept graph. Finally, unlike the existing systems proposed for machine understanding tasks in a limited domain, we applied our methods to various text domain sources from user-generated content on the Web to biomedical literature. We achieve our research objectives through exploiting semantic tools resources such as FrameNet and Abstract Meaning Representation with conventional machine learning models and recent deep neural architecture. Using quantitative experiments and qualitative analysis, we show that our proposed machine understanding methods are scalable and effective in solving a wide range of NLP tasks including content classification and Question-Answering. 지난 10여 년간 정보기술의 발전에 따라 빅데이터 시대가 열리면서 웹을 중심으로 다양한 분야에서 정보의 생산 및 유통량이 폭발적으로 증가하였다. 이러한 빅데이터는 다양한 형태를 띠고 있으며, 그중의 대부분은 텍스트 형식으로 이루어져 있다. 사용자가 대량의 데이터에서 지식을 얻기 위해서는 텍스트를 읽고 그 안에 포함된 정보를 추출해야 한다. 그러나 전문가가 다수의 텍스트를 일일이 검토하기에는 시간적, 비용적 한계점이 존재하며 폭증하는 데이터에 효과적으로 대응하기 어렵다. 따라서 기계적인 방법을 통하여 텍스트에서 자동으로 지식을 추출하는 연구들이 지난 수년간 수행됐다. 특히, 해당 연구는 기계가 텍스트를 읽고 그 안에 포함된 내용을 처리하는 연구는 자연어 처리, 정보 추출 및 검색 분야에서 `기계 이해'라는 주제로 주목받고 있다. 한편, 최근에는 딥러닝을 중심으로 하는 인공지능 기술의 발전으로 인해 종래의 단순한 지식 추출을 넘어서서 기계가 텍스트의 의미를 이해하고, 이를 바탕으로 다양한 작업을 수행할 수 있는 수준으로 발전하였다. 그러나 기존의 `기계 이해'연구들은 처리 가능한 텍스트의 도메인이 한정적이며, `이해한다'라는 행위와 개념의 기계적 접근방법에 대한 충분한 논의 없이 벤치마크 데이터셋을 사용한 질의-응답 태스크의 성능 향상에만 집중하는 한계점이 있었다. 본 논문에서는 다중 도메인 텍스트에서 `기계 이해'를 효과적으로 수행할 수 있는 방법론 및 이에 필요한 텍스트 데이터셋을 제안함으로써 기존의 '기계 이해'연구의 한계를 보완하고자 한다. 구체적인 접근 방법은 다음과 같다. 첫째, 정보추출 기반의 기계 이해 시스템은 객체 간 관계 추출을 주목적으로 하고 있으며, 사실 정보가 담긴 지식베이스에 의존하기 때문에 뉴스나 웹 페이지 같은 사실적 정보가 포함된 텍스트만 처리할 수 있는 한계가 있었다. 본 연구에서는 외부 지식의 도움 없이 텍스트 자체에 내포된 의미를 파악하고 추출하기 위하여 프레임넷을 사용하여 문장의 의미를 정형화된 형태로 추출하고, 이를 기반으로 텍스트의 의미적 차이를 규명할 수 있는 방법론을 소개한다. 둘째로, 기계가 문장의 의미를 이해한다는 개념을 재정의 하기 위하여 추상 의미 표현 그래프를 사용하여 인지과학적 관점에서 사람의 인지 과정을 모델링하는 연구를 수행한다. 마지막으로, 제한된 텍스트 영역에서만 수행되었던 딥러닝 기반의 `기계 이해' 모델을 생명의료 분야의 텍스트로 확장하는 데 필요한 데이터셋 생성 방법과 모델 성능 향상 방안을 제안한다. 아울러 본 논문에서 제안된 `기계 이해' 방법들을 다양한 실험을 통해 검증하고 사용자 생성문서 및 생명의료 문헌 빅데이터를 포함하는 다중 도메인 텍스트 데이터셋에 적용하여 분류, 분석 및 질의-응답과 같은 자연어 처리 태스크를 효과적으로 수행할 수 있음을 보인다.