텍스트 생성 과정에서의 문법 활용 능력 평가 모델 구현 연구 = A Study on the Implementation of a Model for Assessing Grammatical Competence in Text Generation|RISS 상세보기

다국어 초록 (Multilingual Abstract)

This study aims to implement an automated and objective model for assessing grammatical competence in text generation, focusing on learners’ developmental patterns based on linguistic features across the lexical, grammatical morphemic, syntactic, and textual dimensions.
For this purpose, grammatical competence was conceptualized in text generation as “the competence to select appropriate vocabulary, assign syntactic and grammatical functions to the vocabulary using grammatical morphemes such as particles and endings, syntactically combine these elements to form sentences, and connect these sentences to generate coherent texts for expressing intended content”. This concept was operationalized into measurable linguistic indices across the four dimensions mentioned above.
Subsequently, to explore the developmental patterns of elementary and secondary students across the lexical, grammatical morphemic, syntactic, and textual dimensions, linguistic features for assessing grammatical competence were selected by analyzing a large-scale corpus of learner compositions. Based on these features, assessment models using XGBoost and CatBoost were implemented, and the significance of the linguistic features within the models was interpreted. Furthermore, the educational implications of the model implementation were also examined from both procedural and consequential perspectives.
Firstly, this study is grounded in the linguistic view that language must be understood as actual linguistic performance by language users, and thus linguistic competence should be assessed based on concrete linguistic performance. A macro-structure of grammatical competence was established, comprising grammatical knowledge, linguistic intuition, grammatical inquiry competence, and grammatical application competence. This framework clarifies the position of grammatical competence in text generation.
Consequently, this study focuses on the grammatical competence actualized through the linguistic performance of text generation, with a particular emphasis on expression generation. As the process of converting intended meaning into linguistic expression involves lexical, grammatical morphemic, syntactic, and textual dimensions, this study posits that grammatical competence in text generation is a comprehensive competence encompassing all these facets.
Subsequently, to operationalize this competence in an empirical and experiential form, the study explored linguistic indices capable of representing the competences within each dimension. As a result, for the lexical dimension, lexical diversity and vocabulary grade were selected as representative linguistic indices. For the grammatical morphemic dimension, a grammatical morpheme activation index and a grammatical morpheme diversity index were chosen. For the syntactic dimension, syntactic complexity was selected, and for the textual dimension, a coherence score based on a large language model and usage patterns of various cohesion devices were selected.
Based on these selected linguistic indices, this study analyzed a corpus of compositions written by elementary and secondary school students to explore their developmental patterns across the lexical, grammatical morphemic, syntactic, and textual dimensions. The findings revealed that learner development occurs complexly across all four dimensions from the 4th grade of elementary school to the 3rd grade of high school. In particular, grammatical competence was found to develop intensively during the transitions from elementary to middle school and from middle to high school.
Based on the above discussions, 21 linguistic features were selected for assessing grammatical competence, and these were used as features to implement an assessment model. The model, based on XGBoost and CatBoost, was finalized through processes including data splitting and construction for training, validation, and testing sets, as well as hyperparameter optimization using Bayesian optimization. The final model demonstrated an error of RMSE 1.3465, MAE 1.02 grade levels, and MAPE 15.33%. It was confirmed that cases with a prediction error of less than 0.5 grade levels accounted for 33.18% of the total, and those with less than 1.5 grade levels accounted for 77.17%. Furthermore, an interpretation of the model's features using the SHAP technique revealed that key linguistic features included: content word HD-D, content word MATTR, and the proportion of grade 4-5 vocabulary (lexical); embedded structure score and modificational complexity score (syntactic); overall grammatical morpheme diversity index and the usage rate of noun-deriving suffixes (grammatical morphemic); and the frequency of overall cohesion devices, demonstrative/anaphoric cohesion devices, and connective endings (textual). Accordingly, the significance of each linguistic feature in the assessment of grammatical competence was explored based on its SHAP value.
The assessment model implemented through these discussions holds educational value not only as a final product but also in its implementation process. From a procedural perspective, its educational implications include “providing a logical framework for a grammar curriculum based on learner development” and “presenting a methodology for exploring learners' lexico-grammatical resources and choice systems”. From a consequential perspective, it “secures objectivity and specificity in assessment through the grammatical competence assessment model”.
However, this study's model is limited as it focuses solely on quantitative indices and expression generation, while neglecting the assessment of qualitative indices and the aspect of meaning creation. Moreover, although it comprehensively examined linguistic features across the four dimensions, the grammatical competence involved in text generation cannot be fully elucidated by the features explored in this study alone. These limitations highlight the necessity for future research. It is anticipated that if future studies develop qualitative assessment models capable of assessing aspects like the appropriateness of expression, or writing competence models focused on meaning creation, a significant step could be taken toward automated and objective assessment through integration with this work.

번역하기

국문 초록 (Abstract)

본 연구는 학습자의 발달 양상에 주목하여 어휘·문법소·통사·텍스트성 차원의 언어 자질을 바탕으로 텍스트 생성 과정에서 실현되는 문법 활용 능력을 객관적이고 자동적으로 평가할 수 있는 모델을 구현하는 것을 목표로 한다.
이를 위해 본 연구는 텍스트 생성 과정에서 실현되는 문법 활용 능력을 ‘화자 또는 필자가 표현하고자 하는 내용에 대하여 어휘를 선정하고, 조사나 어미 등 문법소를 사용해 해당 어휘에 통사적·문법적 기능을 부여한 후, 이를 통사적으로 결합하여 문장을 생성하며, 그 문장을 연결하여 텍스트를 생성할 수 있는 능력’으로 개념화하고, 이를 객관적으로 측정할 수 있도록 조작적으로 정의함으로써 어휘·문법소·통사·텍스트성 차원의 언어 지표로 변환하였다. 이후 대규모의 학습자 작문 텍스트를 분석하여 어휘·문법소·통사·텍스트성 차원에서 초중등 학습자가 학년에 따라 어떻게 발달하는지 탐색함으로써 문법 활용 능력을 평가하기 위한 언어 자질을 선정하였다. 이를 바탕으로 XGBoost 모델과 CatBoost 모델에 기반한 문법 활용 능력 평가 모델을 구현하였으며, 문법 활용 능력 평가에서 언어 자질들이 표상하는 의미를 해석하였다. 그리고 평가 모델 구현의 과정적·결과적 차원에서의 교육적 의의를 고찰하였다.
먼저, 언어가 실제 언어 사용자들의 수행 차원에서의 언어이어야 하며 이에 따라 언어 능력 또한 언어 수행에서 실현되는 언어 수행 능력이어야 한다는 언어관을 밝히고, 그에 따른 평가가 구체적인 언어 수행에 근거하여야 한다는 평가관을 밝혀 본 연구가 전제하고 있는 관점을 구체화하였다. 그리고 문법 능력의 구성 요소로 문법 지식, 언어적 직관, 문법 탐구 능력, 문법 활용 능력을 제시하여 문법 능력의 거시 구조를 확립하고 이를 바탕으로 텍스트 생성 문법 활용 능력이 문법 능력의 어디에 위치하는지를 확고히 밝히고자 하였다.
결과적으로 본 연구는 텍스트 생성이라는 언어 수행 과정에서 실현되는 문법 활용 능력에 초점을 두며, 특히 표현 생성에 주목한다. 이때, 표현하고자 하는 내용을 언어적 표현으로 변환하는 과정에는 어휘·문법소·통사·텍스트성 차원이 관여하는바, 본 연구에서는 텍스트 생성 문법 활용 능력을 이 모든 차원을 포괄하는 문법 능력으로 상정하였다.
이후 텍스트 생성 문법 활용 능력을 실증적이고 경험적인 형태로 조작적으로 정의하기 위하여 어휘·문법소·통사·텍스트성 차원의 능력을 대표할 수 있는 언어 지표들을 탐색하였다. 그 결과 어휘 차원의 문법 활용 능력을 대표할 수 있는 언어 지표로는 어휘 다양도와 어휘 등급을 선정하였으며, 문법소 차원의 언어 지표로는 문법소 활성화 지수와 문법소 다양도 지수를 선정하였다. 그리고 통사 차원의 언어 지표로는 통사적 복잡도를 선정하였으며, 텍스트성 차원의 언어 지표로는 대규모 언어 모델 기반의 응집성 점수와 결속성 장치의 유형별 사용 양상을 선정하였다.
이와 같은 논의를 거쳐 선정된 어휘·문법소·통사·텍스트성 차원의 언어 지표를 바탕으로 본 연구는 실제 초중등 학습자가 작성한 작문 텍스트 말뭉치를 분석하여 학습자의 어휘·문법소·통사·텍스트성 발달 양상을 탐색하였다. 그 결과, 초등학교 4학년부터 고등학교 3학년에 이르기까지 학습자의 발달은 어휘·문법소·통사·텍스트성 차원에서 복합적으로 이루어졌으며, 특히 초등학교에서 중학교, 중학교에서 고등학교로 학교급이 전환될 때, 문법 활용 능력이 집중적으로 발달하는 것으로 확인되었다.
이상의 논의를 바탕으로, 문법 활용 능력 평가를 위한 21개의 언어 자질이 선정되었으며, 이를 모델의 특성으로 활용하여 문법 활용 능력을 평가하기 위한 모델을 구현하였다. 본 연구의 모델은 XGBoost 모델과 CatBoost 모델에 기반한 모델로, 학습·검증·평가 데이터의 분할 및 구축, 베이지안 최적화 기법을 통한 하이퍼파라미터 최적화 등의 과정을 거쳐 최종 모델을 구현하였다. 그 결과 RMSE 기준 1.3465, MAE 기준 1.02학년, MAPE 기준 15.33%의 오차를 보이는 것으로 나타났으며, 예측 결과의 오차가 0.5학년 미만인 경우는 전체의 33.18%, 1.5학년 미만인 경우는 77.17%인 것으로 확인되었다. 또한, SHAP 기법을 통해 평가 모델의 특성을 해석한 결과, 어휘 차원의 내용어 HD-D, 내용어 MATTR, 4~5등급 어휘 비율, 통사 차원의 내포 구조 점수와 수식 구조 점수, 문법소 차원의 문법소 다양도 지수(전체), 명사 파생 접미사의 사용 비율, 텍스트성 차원의 전체 결속성 장치, 지시·대용의 결속성 장치, 연결 어미 사용 빈도가 주요한 언어 자질로 나타났다. 이에 각 언어 자질이 문법 활용 능력 평가에서 어떠한 의미를 가지는지 SHAP값을 바탕으로 탐색하였다.
이상의 논의를 바탕으로 구현된 평가 모델은 연구의 결과물에 해당하는 평가 모델 그 자체로서도 교육적 가치를 가지지만 구현 과정 차원에서도 교육적 의의를 찾을 수 있다. 과정적 차원에서는 ‘학습자의 발달 과정에 기반한 문법 교육 내용 체계의 논리 마련’과 ‘학습자의 어휘문법적 자원과 선택항 체계 탐색을 위한 방법론 제시’를 본 연구의 교육적 의의로 제시할 수 있으며, 결과적 차원에서는 ‘문법 활용 능력 평가 모델을 통한 평가의 객관성 및 구체성 확보’를 제시할 수 있다.
다만, 본 연구의 평가 모델은 양적 지표와 표현 생성에만 초점을 둔 모델로, 질적 지표에 대한 평가와 의미 생성 측면에 대한 평가에는 한계가 있다. 아울러 어휘·문법소·통사·텍스트성 차원의 언어 자질들을 포괄적으로 살펴보았으나, 텍스트 생성에 관여하는 문법 능력을 본 연구에서 탐색한 언어 자질만으로 완벽하게 규명할 수는 없다. 본 연구가 가지고 있는 이러한 한계는 후속 연구의 필요성을 더욱 부각한다. 본 연구의 후속 연구로서 표현의 적절성 등을 평가할 수 있는 질적 평가 모델이나 의미 생성에 초점을 둔 쓰기 능력 평가 모델들이 개발된다면 이와의 연계를 통해 자동적, 객관적 평가에 한 발짝 더 다가갈 수 있을 것으로 기대된다.

번역하기

본 연구는 학습자의 발달 양상에 주목하여 어휘·문법소·통사·텍스트성 차원의 언어 자질을 바탕으로 텍스트 생성 과정에서 실현되는 문법 활용 능력을 객관적이고 자동적으로 평가할 수 �...

목차 (Table of Contents)