Exploring Effective Strategies for Korean Patent Claim Generation Using Large Language Models = 거대 언어 모델을 활용한 한국어 특허 청구범위 생성의 효과적인 전략 탐색

다국어 초록 (Multilingual Abstract)

Patent claims define the legal boundaries of an invention and drafting them is a labor-intensive task that requires both legal and technical expertise. While large language models (LLMs) have recently emerged as promising tools for automating claim drafting, existing research has primarily focused on English claims. Studies on Korean claims remain limited, particularly those involving open-source LLMs.
To bridge this gap, we systematically investigate strategies for Korean patent claim generation using open-source LLMs. We construct a dataset for claim generation from Korean patent documents and augment the input types by using LLMs to rewrite the technical solution field into drafts that reflect the inventor’s language, referred to as the GPT draft and the Claude draft.
This study compares claim generation performance across input types and model sources without adaptation and examines how adaptation methods influence the quality of generated claims. First, we compare four input types: abstract, technical solution, GPT draft and Claude draft. Among these, the technical solution yields the highest performance. Nonetheless, we adopt the GPT draft and the Claude draft in subsequent experiments to simulate real-world application scenarios. Second, we compare open-source models with the closed-source GPT-4o and find that both can generate claims that follow the typical claim format and focus on the technical features, but require further strategies to facilitate the restructuring of input content and the refinement of expression.
Finally, we evaluate two adaptation methods separately: supervised fine-tuning (SFT) and in-context learning (ICL). With SFT, we observe severe repetition in the generated outputs, closely mirroring repetitive patterns of claims in the training data. To mitigate this issue, we explore three strategies: adjusting the decoding strategy, modifying training hyperparameters, and restricting the target output to independent claims. Among these, the last proves to be the most effective. These findings suggest that the intrinsic repetitiveness of claims presents a key challenge for SFT. With ICL, we explore various configurations of demonstration examples and find that this approach does not yield meaningful improvements in claim quality and tends to generate claims with unnecessary elaboration. As a result, we conclude that addressing the unique characteristics of claims and advancing adaptation strategies are essential for improving automated claim generation.

국문 초록 (Abstract)

특허 청구범위는 발명의 법적 범위를 정의하며 그 작성 과정은 법적·기술적 전문성을 요구하는 노동집약적 작업이다. 최근 대형 언어 모델(LLM)이 청구범위 작성 자동화를 위한 유망한 도구로서 주목받고 있지만, 기존 연구는 주로 영어 청구범위에 집중되어 있다. 한국어 청구범위에 대한 연구는 아직 미진하며, 특히 오픈소스 LLM을 활용한 연구는 더욱 드물다.
이에 따라 본 연구에서는 오픈소스 LLM을 활용한 한국어 특허 청구범위 생성 전략을 체계적으로 탐구하였다. 이를 위해 한국어 특허 문서로부터 청구범위 생성 태스크를 위한 데이터셋을 구축하고, 특허 문서의 과제의 해결 수단 항목을 LLM으로 재작성하여 발명자의 언어를 반영한 GPT 기반 초안 (GPT draft)과 Claude 기반 초안 (Claude draft)이라는 새로운 입력 유형을 도입하였다.
본 연구는 적응 기법 없이 입력 유형 및 모델 소스에 따른 청구범위 생성 성능을 비교하고, 이후 적응 기법이 청구범위 생성 품질에 미치는 영향을 분석한다. 첫번째로, 요약, 과제의 해결 수단, GPT 기반 초안, Claude 기반 초안의 네 가지 입력 유형을 비교한 결과, 과제의 해결 수단이 가장 우수한 성능을 보였다. 다만, 실제 활용 시나리오를 모사하기 위해 이후 실험들에서는 GPT 기반 초안과 Claude 기반 초안을 사용하였다. 두번째로, 오픈소스 모델들과 폐쇄형 모델인 GPT-4o를 비교한 결과, 두 유형 모두 전형적인 청구범위 형식을 따르고 기술적 특징을 중심으로 한 청구범위를 생성할 수 있었으나, 입력 내용의 재구조화와 표현의 정제를 위해서는 추가적인 전략이 필요함을 확인할 수 있었다.
마지막으로, 적응 기법으로서 지도 미세 조정(SFT)과 인컨텍스트 러닝(ICL) 두 가지를 각각 평가하였다. 지도 미세 조정의 경우 생성된 출력에서 심각한 반복 현상이 나타났는데, 이는 학습 데이터에 존재하는 청구범위의 반복적 패턴과 유사한 양상을 보였다. 이를 완화하기 위해 디코딩 전략의 조정, 학습 하이퍼파라미터의 변경, 그리고 목표 출력의 독립 청구항으로의 제한이라는 세 가지 방법을 시도하였으며, 이 중 마지막 방법이 가장 효과적인 것으로 나타났다. 이러한 결과들은 청구범위에 내재된 반복성이 지도 미세 조정에 있어 중요한 도전 과제가 될 수 있음을 시사한다. 한편, 인컨텍스트 러닝의 경우, 다양한 예시 구성 방식을 활용해 실험한 결과 이 방식은 청구범위 품질의 유의미한 개선으로 이어지지 않았으며, 청구범위에 불필요한 부연 설명을 포함하는 경향이 있음을 관찰하였다. 결과적으로, 본 연구는 청구범위의 고유한 특성을 고려하고 적응 전략을 고도화하는 것이 청구범위 자동 생성을 개선하는 데 필수적임을 확인하였다.

목차 (Table of Contents)

• 1. Introduction 1
• 2. Related Works 5
• 2.1 Patent Claim Generation 5
• 2.2 Supervised Fine-Tuning (SFT) 8
• 2.3 In-Context Learning (ICL) 11
• 3. Datasets & Models 13
• 3.1 Datasets 13
• 3.1.1 Overview of Korean Patent Documents 13
• 3.1.2 Field Selection and Preprocessing 16
• 3.1.3 Input Reconstruction Using LLMs 22
• 3.1.4 Dataset Splits 25
• 3.1.5 Vector Database 26
• 3.2 Models 27
• 3.2.1 Qwen 3 27
• 3.2.2 Gemma 2 28
• 3.2.3 Gemma 3 29
• 3.2.4 Llama 3.1 30
• 3.2.5 GPT-4o 30
• 4. Methodology 32
• 4.1 Task Definition and Prompt Design 32
• 4.2 Generation Without Adaptation 33
• 4.3 Supervised Fine-Tuning (SFT) 33
• 4.4 In-Context Learning (ICL) 36
• 5. Evaluation of Claim Generation 39
• 5.1 Previous Works 39
• 5.2 BLEU 41
• 5.3 ROUGE 43
• 5.4 BERTScore 45
• 5.5 Repetition-Focused Metrics 46
• 5.5.1 Inter-Claim Distinctiveness Score (InterDS) 47
• 5.5.2 Intra-Claim Diversity Score (IntraDS) 48
• 5.6 Tokenization 49
• 6. Experiments and Analysis 50
• 6.1 Experimental Setting 50
• 6.2 Analysis 52
• 6.2.1 Claim Generation Performance by Input Type 53
• 6.2.2 Claim Generation Performance by Model Source 55
• 6.2.3 Effect of Supervised Fine-Tuning on Claim Quality 60
• 6.2.3.1 Problematic Repetition Patterns in Generated Claims 63
• 6.2.3.2 Impact of Decoding Strategy on Repetition 67
• 6.2.3.3 Impact of Training Hyperparameters on Repetition 71
• 6.2.3.4 Impact of Target Output on Repetition 73
• 6.2.3.5 Discussion of Supervised Fine-Tuning 76
• 6.2.4 Effect of In-Context Learning on Claim Quality 78
• 7. Conclusion 85
• Bibliography 88
• Appendix 97
• Abstract (in Korean) 102