대규모 언어 모델을 활용한 PTAB 결론부 생성 및 법적 판단 평가 프레임워크

국문 초록 (Abstract)

미국 특허심판항소위원회(Patent Trial and Appeal Board, PTAB) 결정문은 심사관의 거절 결정에 대한 항소를 다루며, 기술적·법률적 쟁점을 최종적으로 판단한 내용을 결론부(Decision/Order)를 통해 각 청구항의 판결 결과와 적용 법률 조항으로 제시한다. 최근 대규모 언어 모델(Large Language Model, LLM)의 발전으로 특허 분야에서도 다양한 생성 연구가 활발히 이루어지고 있으나, 기존 연구들은 주로 특허 초안 작성이나 심사 초기 단계의 기술적 문서 생성에 집중되어 왔으며 PTAB 결론부를 대상으로 대규모 언어 모델의 생성 능력을 평가한 연구는 아직 다루어지지 않았다. 본 연구는 이러한 한계를 해결하기 위해 PTAB 결론부 생성 프레임워크를 제안한다. 제안하는 접근법은 세 가지 핵심 모듈로 구성된다. 먼저 PTAB 결정문 원문으로부터 결론부를 정제·추출하는 모듈을 통해 결론부 정답 데이터셋 모듈을 구축한다. 다음으로 다양한 대규모 언어 모델을 프롬프팅하여 청구항별 판결 결과와 적용 법률 조항을 포함한 결론부를 생성하는 결론부 생성 모듈을 구축한다. 마지막으로 법적 판단 요소 추출 모듈을 통해 모델이 생성한 결론부에서 판결 결과(Decision)와 법률 조항(Statutory Grounds)을 추출하고, 이를 실제 PTAB 판단과 비교함으로써 결론부의 법적 판단 요소 정확성을 평가한다. 실험 결과, 자연어 생성 지표 및 법률 조항 재현성 측면에서는 GPT-4o가 가장 뛰어난 성능을 보였으며, 판결 결과 재현에서는 GPT-o3가 가장 높은 정확도를 기록하였다. 또한 Mistral-22B는 상용 모델에 근접한 성능을 보여 비상용 모델의 활용 가능성을 확인할 수 있었다. 더불어, 결론부 정제 절차를 적용한 경우 대부분의 모델에서 전반적인 지표 향상이 관찰되었고, 모델 간 성능 차이 역시 감소하여 평가 지표의 안정성 향상에도 기여함을 확인하였다.

다국어 초록 (Multilingual Abstract)

The decisions issued by the Patent Trial and Appeal Board (PTAB) resolve the appeals of examiner rejections and provide a final determination on the technical and legal issues raised during patent prosecution. The Decision/Order section specifies the Board’s decision on each claim and the statutory grounds supporting that determination, making it the legally operative component of the opinion. Although large language models(LLMs) are increasingly applied in patent drafting, examination assistance, and other early-stage generative tasks, their ability to generate legally consequential components such as PTAB Decision/Order sections remains largely unexplored. To address this gap, this study proposes a framework for generating PTAB Decision/Order sections. The framework consists of three core components. First, an evaluation dataset is constructed by systematically segmenting and standardizing Decision/Order sections from the PTAB Decision. Second, a range of large language models is utilized to generate Decision/Order texts that include claim-level outcomes and the corresponding statutory grounds. Finally, a legal-reasoning extraction module is designed to extract the predicted Decision and Statutory Grounds from the generated outputs and compare them against the ground-truth PTAB determinations. Experimental results show that GPT-4o achieves the highest performance on both traditional natural language generation(NLG) metrics and Statutory Grounds accuracy, while GPT-o3 yields the best accuracy in predicting Decision. Notably, Mistral-22B performs on par with commercial models, indicating the practical potential of non-commercial LLMs in legal generation tasks. Furthermore, we observe that improving the quality of the Decision/Order references through data refinement leads to consistent performance gains across most models, underscoring the importance of high-quality supervision in this domain.

목차 (Table of Contents)

• I 서론 1
• 1.1 연구 배경 1
• 1.2 연구 목적 3
• II 선행 연구 4
• 2.1 특허 분야에서의 대규모 언어 모델 기반 생성 연구 4
• 2.2 PTAB 결정문을 활용한 선행 연구 6
• 2.3 법률 문서 생성 평가 지표 8
• III PTAB 결론부 생성 프레임워크 9
• 3.1 연구 방법 소개 9
• 3.2 결론부 정답 데이터셋 구축 11
• 3.2.1 데이터 전처리 11
• 3.2.2 사건 정규화 12
• 3.2.3 섹션 분할 13
• 3.3 결론부 생성 18
• 3.4 법적 판단 요소 추출 20
• 3.4.1 판결 결과 20
• 3.4.2 법률 조항 21
• IV 실험 24
• 4.1 실험 설정 24
• 4.1.1 모델 구성 25
• 4.1.2 평가 지표 25
• 4.2 결과 27
• 4.2.1 자연어 생성 평가 27
• 4.2.2 법적 판단 요소 평가 28
• 4.2.3 결론부 정답 정제 평가 30
• V 결론 32
• VI 한계 및 향후 과제 34
• 참고 문헌 36