사전학습 언어모델(Pre-trained Language Model) 기반의 고려시대 묘지명에 대한 결락 문자 추정 연구 = A Study on the Estimation of Missing Characters in Goryeo Dynasty Tomb Inscriptions Using a Pre-trained Language Model

국문 초록 (Abstract)

고려시대 묘지명은 당대의 생활상을 생생하게 보여주는 귀중한 사료이나, 상당수가 마모 및 파손으로 인한 결락을 포함하고 있다. 기존의 결락 복원은 연구자의 지식에 의존한 수작업 교차검증에 국한되어, 객관적 지표 마련과 방대한 데이터 처리에 한계가 있었다. 최근 해외에서는 Ithaca(그리스어), Aeneas(라틴어) 등 AI를 활용한 비문 복원 연구가 활발하나, 표의문자인 한자를 사용하며 독자적인 제도적 배경을 가진 한국 금석문에 대한 인공지능 활용 연구는 미진한 상태이다. 본 연구는 인공지능 모델을 통한 고려 금석문 결락 추정의 가능성을 타진하는 시론적 실험을 목적으로 한다.
본 연구에서는 한문 특화 언어 모델인 SIKU-RoBERTa를 기반으로, 고려시대 인물인 원선지(元善之)의 묘지명과 󰡔고려사󰡕 열전 기록을 실험 대상으로 삼았다. 그리고 원선지 열전의 학습 여부 및 LoRA(Low-Rank Adaptation) 어댑팅 기법 적용 여부에 따라 총 4가지 변주 모델을 구축하여 원문의 15%를 무작위 마스킹(Masking) 한 원선지 열전(37자)과 묘지명(76자)의 글자를 추정하였다. 최종적으로 각 모델이 TOP-1 및 TOP-5 방식으로 추정한 정확도를 비교 분석하였다.
실험 결과는 다음과 같다. 우선, 관련 문헌(열전)의 학습 유무가 묘지명 결락 추정 정확도에 중요한 영향을 미쳤음이 확인되었다. 그리고, 결락 없는 66기의 고려 묘지명을 LoRA로 추가 학습시킨 모델이 묘지명 추정에서 더 높은 성능을 보였으나, 일반 문헌(열전)에 대한 추정력은 다소 하락하는 특성을 보였다. 마지막으로 다수의 정답 후보군이 제시될 때에 단일 정답 후보군이 제시될 때보다 더 안정적인 추정 정확도를 보였다.
본 실험을 통해 유관 문헌 데이터가 AI 모델의 배경 지식으로 핵심적인 역할을 수행함을 확인하였으며, 데이터 성격에 따른 정밀한 미세조정(Fine-tuning)의 필요성을 도출하였다. 인공지능은 단독적인 복원 도구보다는 연구자에게 최적의 후보군을 제안하는 디지털 보조 도구로서 높은 활용 가능성을 지닌다. 본 연구는 향후 한국 금석문 복원을 위한 인공 지능 기술 활용의 토대를 마련했다는 점에서 의의가 있다.

다국어 초록 (Multilingual Abstract)

Epitaphs from the Goryeo Dynasty are invaluable historical resources that vividly reflect the social life of the era. However, a significant number of these records contain missing characters (lacunae) due to abrasion and physical damage. Traditionally, the restoration of these missing parts has been limited to manual cross-verification based on a researcher’s individual knowledge, posing challenges in establishing objective metrics and processing large-scale data. While international research has actively utilized AI for inscription restoration—notably the Ithaca model for Greek and the Aeneas model for Latin—AI-driven studies on Korean epigraphy remain insufficient, particularly as Korean inscriptions utilize logographic Chinese characters and are rooted in a distinct institutional and historical background. This study aims to conduct a preliminary experiment to explore the feasibility of estimating missing characters in Goryeo epigraphy using artificial intelligence.
Based on SIKU-RoBERTa, a language model specialized in Classical Chinese, this study utilized the epitaph of the Goryeo figure Won Seon-ji and his biographical record in the Goryeosa Yeoljeon (Biographies of the History of Goryeo) as experimental subjects. Four variant models were constructed based on two criteria: whether the Won Seon-ji Yeoljeon was included in the training data and whether LoRA (Low-Rank Adaptation) was applied. These models were then tasked with estimating randomly masked characters (15% of the original text), specifically 37 characters from the Yeoljeon and 76 characters from the epitaph. The estimation accuracy was evaluated using TOP-1 and TOP-5 metrics.
The experimental results are as follows: First, it was inferred that the inclusion of related literature (the Yeoljeon) significantly influenced the accuracy of estimating missing characters in the epitaph. Second, the model further trained with 66 Goryeo epitaphs without lacunae via LoRA showed higher performance in epitaph estimation; however, its predictive power for general historical texts (the Yeoljeon) slightly decreased. Third, the accuracy improved significantly when the range of candidates was expanded to TOP-10.
This experiment confirmed that relevant literary data serves as crucial background knowledge for AI models and highlighted the necessity of precise fine-tuning tailored to the specific characteristics of the data. The results suggest that artificial intelligence holds high potential not as a standalone restoration tool, but as a digital assistance tool that proposes optimal candidate sets for researchers. This study is significant in that it establishes a foundation for utilizing AI technology in the restoration of Korean epigraphy.