한국어 법률 특화 LLM 개발을 위한 방향성 연구 = Developing Korean Legal LLMs: An Empirical Study on Data and Architecture

국문 초록 (Abstract)

본 연구는 고도화된 한국어 법률 LLM 개발을 위한 로드맵 수립을 목표로, 한국 법률 도메인(성문법–판례 위계)에서 데이터 전략과 아키텍처 선택의 효과를 실증적으로 규명한다. 이를 위해 4B 규모에서 Autoregressive(AR)와 Diffusion Language Model(DLM)을 동일 조건하에 통제 실험하였으며, 법령·판례·주석서의 계층적 Continual Pretraining과 변호사시험 선지를 분해한 Atomic Legal QA기반 SFT 파이프라인을 설계하였다. 실험 결과, 판례 중심 학습은 법률 문항 해결 능력을 높이나 일반 추론 성능을 저하시키는 Negative Transfer 현상을 야기함을 확인하였으며, 주석서 학습이 이를 상쇄하는 효과를 보였다. 특히, Atomic QA를 활용한 고도화된 SFT를 수행한 결과, DLM의 정확도는 33.48%까지 비약적으로 향상되어 일반 언어 모델 기준선 (27.67%)을 유의미하게 상회하였으며, 상용 모델(GPT-4o)과의 격차 또한 유의미하게 좁혔다. 이는 정교한 데이터 전략이 뒷받침될 때 기존 AR 위주의 생태계에서 Diffusion 모델 또한 법률 도메인에서 충분한 잠재력을 가질 수 있음을 실증한다. 이에 본 연구는 추론 중심 데이터와 RAG 등 고도화 방안을 제안한다. 결론적으로 본 연구는 강건한 한국어 법률 LLM 구축을 위해, 아키텍처의 내재적 특성보다 데이터의 질과 논리적 구조가 더 결정적인 요소임을 실증한다.

다국어 초록 (Multilingual Abstract)

This study aims to establish a roadmap for developing advanced Korean Legal Large Language Models (LLMs) by empirically investigating the effects of data strategies and architectural choices within the Korean legal domain. To this end, we conducted controlled experiments comparing Autoregressive (AR) models and Diffusion Language Models (DLM) at the 4B scale under identical conditions. We designed a training pipeline consisting of hierarchical Continual Pretraining on statutes, precedents, and commentaries, followed by Supervised Fine-Tuning (SFT) using ‘Atomic Legal QA,’ a dataset constructed by decomposing bar exam multiple-choice options.
The results confirm that precedent-focused training improves legal question- answering capabilities but induces ‘Negative Transfer,’ degrading general reasoning performance; however, training with commentaries was found to mitigate this trade-off. Notably, applying Atomic QA-based SFT significantly boosted the DLM’s accuracy on the Bar Exam to 33.48%, meaningfully surpassing the general language model baseline (27.67%) and narrowing the gap with commercial models. These results demonstrate that, even within an ecosystem dominated by AR models, Diffusion models possess sufficient potential for application in the legal domain when supported by sophisticated, reasoning-centric data strategies.
Accordingly, this study proposes advancement strategies such as reasoning- centric data construction and Retrieval-Augmented Generation (RAG). In conclusion, this research suggests that for building robust Korean Legal LLMs, the quality and logical structure of data are critical factors that can transcend architectural limitations.

목차 (Table of Contents)

• 제1 장 서론 1
• 제 1 절 연구 배경: 왜 한국어 법률 LLM인가 1
• 제 2 절 기존 연구의 한계 1
• 제 3 절 연구 접근법: 4B 모델을 활용한 실증 비교 2
• 제 4 절 연구 질문 (Research Questions) 3
• 제2 장 문헌 고찰 및 관련 연구 4
• 제 1 절 한국 법률 시스템의 특성 4
• 제 2 절 한국 법률 AI의 현황 및 한계 5
• 제 3 절 법률 특화 LLM과 미세 조정 전략 6
• 제 4 절 SFT를 넘어서: 고도화된 튜닝 및 시스템적 기법 6
• 제 5 절 텍스트 및 법률 처리를 위한 확산 언어 모델(DLM) 7
• 제3 장 연구 방법 8
• 제 1 절 실험 모델 8
• 제 2 절 계층적 지속 사전학습(CP) 9
• 1. 데이터 파이프라인 개요 9
• 2. 지속 사전학습 9
• 제 3 절 지도 미세 조정(SFT) 10
• 3. 원천 데이터: 법률 시험 기출문제 10
• 4. Atomic Legal QA 데이터 구축 10
• 5. 실험 데이터 분할 11
• 제4 장 실험 및 결과 13
• 제 1 절 실험 환경 및 설정 13
• 1. 평가 벤치마크 13
• 2. 비교 모델 및 변인 설정 14
• 제 2 절 주요 실험 결과 14
• 제5 장 고찰 17
• 제 1 절 법률 CP에서의 안정성-가소성 딜레마 17
• 1. 판례 학습으로 인한 부정적 전이 17
• 2. 주석서를 통한 완화 효과 17
• 제 2 절 데이터 중심 SFT의 효과 18
• 3. Atomic QA를 통한 성능 비약 18
• 4. 아키텍처 적합성: DLM의 잠재력 실증 18
• 제 3 절 향후 방향: 과정 감독의 필요성 19
• 제6 장 연구의 한계 21
• 제 1 절 모델 규모에 따른 실험적 제약 21
• 제 2 절 평가 지표의 한계 21
• 제 3 절 데이터의 최신성 및 범위의 한계 22
• 제7 장 향후 과제: 강건하고 신뢰할 수 있는 법률 LLM을 향하여 23
• 제 1 절 [방법 1] IRAC 기반의 구조화된 추론 확장 23
• 제 2 절 [방법 2] DPO 및 검증을 통한 선호도 학습 24
• 제 3 절 [방법 3] 법률적 근거 강화를 위한 검색 증강 생성(RAG) 25
• 제8 장 결론 26
• 참고문헌 27
• Abstract 31