대규모 언어 모델(LLMs)의 한국어 부사절 인식과 변환 능력 연구 = A Study on the Recognition and Transformation Capabilities Abilities of Korean Adverbial Clauses in Large Language Models

국문 초록 (Abstract)

본 연구는 대규모 언어 모델(LLMs)이 한국어 구문에서 부사절(advcl)을 처리하는 능력을 평가한다. 실험 결과, 대규모 언어 모델은 구문분석 한계를 보이며 전통적 분석기(Stanza)에 비해 비표지 의존 정확도(Unlabeled Attacment Score, UAS)와 표지 의존 정확도(Labled Attachment Score, LAS)가 현저히 낮았다. 그러나 문장 변환과 같은 생성 과업 성능에서는 45% 이상의 결과를 보였으며, 특히 부사절을 명시적으로 제시했을 때 55% 이상의 의미 보존력이 높은 문장을 산출하는 부사절 단서 효과가 확인되었다. 다만 문장이 길어질수록 성능이 저하되는 경향이 나타났는데, 이는 한국어 부사절의 복잡한 장거리 의존성과 관련된 것으로 해석된다. 이러한 결과는 대규모 언어 모델의 구문적 취약성과 동시에 프롬프트 설계에 따른 개선 가능성을 함께 시사한다.

다국어 초록 (Multilingual Abstract)

This study evaluates the ability of large language models (LLMs) to process adverbial clauses (advcl) in Korean syntax. The experimental results show that LLMs exhibit clear limitations in syntactic parsing, achieving substantially lower Unlabeled Attachment Scores (UAS) and Labeled Attachment Scores (LAS) than a traditional parser, Stanza. However, in generative tasks such as sentence transformation, the models achieved performance exceeding 45%, and when adverbial clauses were explicitly provided, they produced sentences with high semantic preservation in over 55% of cases, revealing a clear adverbial-clause cueing effect. Nevertheless, performance declined as sentence length increased, a tendency that can be interpreted as reflecting the complex long-distance dependencies characteristic of Korean adverbial clauses. Taken together, these findings highlight both the syntactic vulnerabilities of large language models and their potential for improvement through prompt design.