자연어 추론 학습 데이터 생성을 위한 신규 규칙 발굴 및 자동화 연구

다국어 초록 (Multilingual Abstract)

Natural Language Inference (NLI) is a core task in Natural Language Processing (NLP) that involves understanding and classifying the logical relationship between a given premise and hypothesis sentence. It serves as a foundational component for various high-level NLP applications such as text understanding, question answering, and machine translation. Most NLI models are based on machine learning and deep learning frameworks, where the model is trained to classify sentence pairs into one of three categories: entailment, contradiction, or neutral.
While the performance of NLI models has significantly improved with the advent of large pre-trained language models, several challenges remain, including the high cost of data annotation, lack of interpretability in inference processes, and performance degradation when applied to different domains. In particular, under low-resource conditions, it is difficult to ensure domain adaptability and capture diverse linguistic expressions using existing datasets.
To address these challenges, this study proposes an automated data generation framework based on sentence transformation rules, aiming to improve the diversity and generalization performance of NLI training data. To overcome the limitations of the existing 15 fixed transformation rules, the framework combines Out-of-Distribution (OOD) detection with BERT-based clustering to automatically identify sentence pairs that are not covered by existing rules. Through a combination of manual analysis and large language models (LLMs), four new sentence transformation rules (RG, CA, VS, EI) were derived.
This study incorporated these new rules into Chain-of-Thought (CoT) prompts to generate high-quality Premise-Hypothesis-Label (PHL) training data, which was then used to augment the SNLI dataset. Experimental results showed that the proposed data improved NLI model performance by up to +0.22%p compared to the original dataset, and up to +0.85%p in low-resource settings (2k samples) when a distribution-aware augmentation strategy reflecting the actual frequency of rules was applied.
This study successfully demonstrated the automatic detection of novel inference patterns and the integration of manual and LLM-based rule generation to ensure both reliability and scalability. Furthermore, the proposed framework enhances training efficiency by generating logically consistent data and adopting rule-distribution-based augmentation. Overall, this approach shows strong potential not only for automating rule-based data generation in NLI but also for contributing to a wide range of NLP tasks that require domain adaptation and complex reasoning capabilities.

국문 초록 (Abstract)

자연어 추론(Natural Language Inference, NLI)은 주어진 전제와 가설 문장 사이의 논리적 관계를 이해하고 분류하는 자연어 처리(Natural Language Processing, NLP)의 핵심 과제로, 텍스트 이해, 질의응답, 기계 번역 등 다양한 고차원 응용 태스크의 기반으로 활용된다. 대부분의 NLI 모델은 기계학습 및 딥러닝 기반으로 설계되며, 주어진 문장쌍을 입력으로 받아 이들 간의 관계를 ‘함의’, ‘모순’, ‘중립’ 중 하나로 예측하도록 학습된다.
최근 딥러닝 기반의 사전학습 언어 모델이 도입되면서 NLI 성능이 크게 향상되었으나, 여전히 학습 데이터의 수집 비용, 추론 과정의 비해석성, 도메인 일반화 성능 저하 등 여러 한계가 존재한다. 특히 저자원 환경에서는 도메인 적응력이 부족하고, 기존 데이터로는 다양한 자연어 표현을 충분히 반영하기 어렵다는 문제가 지속적으로 제기되고 있다.
이에 본 논문에서는 NLI 학습 데이터의 다양성과 일반화 성능을 향상시키기 위한 문장 변환 규칙 기반 자동 데이터 생성 프레임워크를 제안한다. 기존의 15개 문장 변환 규칙이 갖는 표현력의 한계를 극복하기 위해, 분포 외(Out-of-Distribution, OOD) 탐지 기법과 BERT 기반 클러스터링을 결합하여 기존 규칙으로 설명되지 않는 전제-가설 문장 쌍을 자동으로 선별하고, 수작업 분석 및 대규모 언어 모델(Large Language Model, LLM)을 활용한 자동화 절차를 통해 새로운 문장 변환 규칙 네 가지(RG, CA, VS, EI)를 도출하였다.
도출된 규칙은 Chain-of-Thought(CoT) 기반 프롬프트와 결합하여 고품질의 Premise-Hypothesis-Label(PHL) 데이터를 자동 생성하는 데 활용되었으며, 이를 SNLI 데이터셋에 증강하여 실제 모델 학습에 적용하였다. 실험 결과, 본 연구에서 생성한 데이터는 기존 데이터 대비 최대 +0.22%p의 성능 향상을 나타냈으며, 특히 실제 규칙 분포를 반영한 데이터 증강 전략을 적용한 경우 저자원 환경(2k 샘플)에서 최대 +0.85%p의 정확도 향상 효과를 확인하였다.
본 연구는 새로운 추론 패턴을 효과적으로 탐지하고, 수작업 분석과 LLM 기반 자동화를 결합한 규칙 도출 절차를 통해 신뢰성과 확장성을 모두 확보하였으며, 논리적으로 일관성 있는 학습 데이터를 자동 생성하고 실제 분포 기반의 증강 전략을 적용함으로써 학습 효율을 극대화하였다. 이러한 접근은 문장 변환 규칙 기반 데이터 생성의 자동화 가능성과 실용성을 보여주는 동시에, 도메인 적응성과 추론 능력이 요구되는 다양한 자연어 처리 과제에도 폭넓게 기여할 수 있음을 보여준다.

목차 (Table of Contents)

• Ⅰ. 서 론 1
• 1. Contribution 2
• Ⅱ. 관련연구 4
• 1. 감독학습 기반 자연어 추론 4
• 2. Chain-of-Thought (CoT) 5
• 3. PHL Triplet 자동 생성 8
• 4. Out-of-Distribution (OOD) 13
• Ⅲ. 자연어 추론 데이터 생성을 위한 문장 변환 규칙 자동화 기법 13
• 1. OOD 기반 전제-가설 문장쌍 탐지 13
• 1) 자연어 추론 학습데이터 생성을 위한 신규 규칙 발굴에 활용되는 OOD 탐지 14
• 2) 실험 및 결과 15
• 2. BERT 기반 문장쌍 클러스터링 18
• 1) 임베딩 기반 K-Means 군집화 18
• 2) 클러스터 응집도 평가 및 신규 규칙 도출 20
• 3. CoT를 이용한 새로운 규칙 기반 PHL 삼중항 자동 생성 21
• 1) CoT 기반 PHL 데이터 생성 및 증강 21
• 2) 실험 및 결과 23
• 4. 규칙 도출 자동화 파이프라인 31
• 1) LLM 기반 규칙 자동 생성 및 검증 31
• 2) 실험 및 결과 33
• Ⅳ. 결 론 34
• □ 참고문헌 36
• □ Abstract 38