머신러닝과 딥러닝 언어모델을 활용한 한국어 학습자 작문의 주제 자동 분류 연구 = A Study on Automatic Topic Classification of Korean Language Learners’ Essays Using Machine Learning and Deep Learning Language Models

국문 초록 (Abstract)

본 연구의 목적은 머신러닝과 딥러닝 언어모델을 활용하여 한국어 학습자 쓰기의 주제를 자동으로 분류할 수 있을지 그 가능성을 탐색해 보는 데 있다. 머신러닝 기반의 언어모델인 랜덤 포레스트를 기준 모델로 삼아 딥러닝 기반의 언어모델의 한국어 학습자 쓰기 주제 분류 성능을 평가해 보았는데 머신러닝 기반의 언어모델인 랜덤 포레스트의 경우 정확도가 약 96.5%로 나타났다. 반면에 딥러닝 기반의 언어모델인 KoBERT의 정확도는 약 64.25%로 랜덤 포레스트에 비해 훨씬 낮은 정확도를 보였으며 KoELECTRA의 정확도는 약 97.25%로 랜덤 포레스트와 비교해 약간 높은 정확도를 보였다. 3가지 모델 간의 주제 예측 결과를 비교해 본 결과 KoBERT의 경우, 낮은 정확도에서도 알 수 있듯이 인간의 직관으로 이해가 어려운 예측 결과를 보였고 나머지 두 모델이 정확히 주제를 예측한 작문에 대해서도 예측을 실패한 사례가 나타났다. 랜덤 포레스트와 KoELECTRA의 경우에는 예측 오류 양상에 있어서 비슷한 양상을 보였는데 두 알고리듬 간의 성능 차이는 크지 않았다. 3가지 알고리듬에서 공통적으로 나타난 예측 오류 양상은 주제에 특화된 어휘가 주로 사용되는 작문이 아닌 일반적으로 흔히 쓰이는 어휘가 주로 사용되는 작문의 경우에 주제 판별 성능이 떨어진다는 점이다. 또한, 작문의 일부 내용이 다른 주제의 내용을 포함하고 있을 때 주제 예측에 실패하는 사례들이 많이 나타났다. 이러한 한계점을 극복하기 위해서는 다양한 장르의 작문을 세부적으로 분석할 필요가 있으며 기존 구축된 학습자의 작문을 활용하는 방법론 외에 다양한 방법론에 대한 실험이 지속되어야 할 것이다.

다국어 초록 (Multilingual Abstract)

The purpose of this study is to explore the possibility of automatically classifying the topics of Korean language learners’ writings using machine learning and deep learning. The Random Forest model, serving as a baseline, achieved an accuracy of 96.5%.
In contrast, compared to the baseline, the deep learning model KoBERT showed lower accuracy at 64.25%, while KoELECTRA slightly outperformed the baseline with 97.25% accuracy. When comparing the topic prediction results of the three models, KoBERT demonstrated prediction outcomes that deviated from human intuition, failing to accurately predict topics that were correctly identified by the other two models, as evidenced by its low accuracy. The Random Forest and KoELECTRA exhibited similar tendencies in terms of error patterns, with no significant difference in performance between the two algorithms. Common prediction errors across the three algorithms included difficulties in classifying writings that used general vocabulary instead of topic-specific terms. Additionally, the models often failed to predict the topic accurately when the content included vocabulary related to other topics. To improve performance, a detailed analysis of various writing genres and continuous experimentation using new data and methodologies are necessary

참고문헌 (Reference)

1 이진 ; 정진경 ; 김한샘, "한국어 학습자 쓰기 자동채점을 위한 자질 연구-내용 및 구조 관련 채점 자질을 중심으로" 국제어문학회 (99) : 433-471, 2023

2 이기창, "한국어 임베딩" 에이콘 2020

3 이용상 ; 신동광 ; 김현정, "한국어 쓰기 평가를 위한 자동채점의 가능성 탐색" 이중언어학회 (86) : 171-191, 2022

4 남미정, "한국어 쓰기 자동 채점을 위한 언어 자질 탐색 연구" 연세대학교 일반대학원 2023

5 남미정 ; 원미진, "한국어 쓰기 자동 채점을 위한 언어 자질 탐색 연구" 연세대학교 언어정보연구원 (57) : 9-32, 2022

6 신동광, "채점자질의 적용이 영어 자동채점 모델의 성능에 미치는 영향" 한국교원대학교 교육연구원 38 (38): 73-91, 2022

7 이공주 ; 이경호, "영어 작문 자동채점에서 ConceptNet 과 작문 프롬프트를 이용한 주제-이탈 문서의 자동 검출" 한국정보과학회 42 (42): 1522-1534, 2015

8 이진 ; 정진경 ; 김한샘, "딥러닝 언어모델의 한국어 학습자 말뭉치 원어민성 판단 결과 분석 연구" 한국언어문화교육학회 17 (17): 155-177, 2021

9 조희련 ; 이유미 ; 임현열 ; 차준우 ; 이찬규, "딥러닝 기반 언어모델을 이용한 한국어 학습자 쓰기 평가의 자동 점수 구간 분류-KoBERT와 KoGPT2를 중심으로" 국제한국언어문화학회 18 (18): 217-241, 2021

10 Sasaki, T., "Sentence-BERT distinguishes good and bad essays in cross-prompt automated essay scoring" 274-281, 2022

11 Lee, B. W., "Pushing on text readability assessment: A transformer meets handcrafted linguistic features"

12 Zhu, Y., "Off‐Topic Detection of Business English Essay Based on Deep Learning Model" 2021 (2021): 1-9, 2021

13 Louis, A., "Off-topic essay detection using short prompt texts" (295) : 92-95, 2010

14 Lim, K., "Neural automated writing evaluation for Korean L2 writing" 29 (29): 1341-1363, 2023

15 Parekh, S., "My teacher thinks the world is flat! interpreting automatic essay scoring mechanism"

16 Higgins, D., "Identifying off-topic student essays without topic-specific training data" 12 (12): 145-159, 2006

17 Chen, J., "Identifying Useful Features to Detect Off-Topic Essays in Automated Scoring Without Using Topic-Specific Training Essays" 315-326, 2016

18 Kabra, A., "Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring Systems" 90-99, 2022

19 Clark, K., "Electra: Pre-training text encoders as discriminators rather than generators"

20 Ding, Y., "Don’t take “nswvtnvakgxpm” for an answer–The surprising vulnerability of automatic content scoring systems to adversarial input" 882-892, 2020

21 Koufakou, A., "Deep learning for opinion mining and topic classification of course reviews" 29 (29): 2973-2997, 2024

22 Shahzad, A., "Computerization of off-topic essay detection: a possibility?" 27 (27): 5737-5747, 2022

23 Devlin, J., "Bert: Pre-training of deep bidirectional transformers for language understanding"

24 Vaswani, A., "Attention is all you need" 6000-6010, 2017

25 Pinho, C., "Application Of Artificial Intelligence Techniques For Classification Of Escape From The Topic In Essays" 40 : e39773-, 2024

26 Ramesh, D., "An automated essay scoring systems: a systematic literature review" 55 (55): 2495-2527, 2022

27 Burstein, J., "Advanced Capabilities for Evaluating Student Writing: Detecting Off-Topic Essays Without Topic-Specific Training" 112-119, 2005

28 Huang, P., "A Study of Sentence-BERT Based Essay Off-topic Detection" 515-519, 2023

29 이정희 ; 박지수 ; 손진곤, "A BERT-Based Automatic Scoring Model of Korean Language Learners' Essay" 18 (18): 282-291, 2022