의료문서추출성능향상을위한 LLM 학습방법에대한연구 = Enhancing Medical Document Extraction Performance through Advanced Training Methods of Large Language Models

국문 초록 (Abstract)

본연구는서울대학교병원외과의실제임상데이터를기반으로,수술후첫외래
기록지 생성을 위한 대규모 언어모델(LLM) 학습 전략을 정립하였다. 외래기록지는
초진–수술전–수술기록–퇴원기록등여러문서를통합하여작성되는복합적문서이며,
분과별·교수별로 상이한 문서 스타일과 정보 선택 기준으로 인해 자동 생성 난도가
높다. 이를 해결하기 위해 본 연구는multi-source 입력 구조와 분과 기반 병합 학습
(cluster-based merge finetuning)을 중심 기법으로 설계하여, 실제 임상 workflow를
반영한자동생성모델을구축하였다.
분과기반병합실험은본연구의핵심으로,유방내분비외과·이식혈관외과·대장항
문외과에속한교수들간데이터병합이성능에미치는영향을체계적으로분석하였다.
동일분과또는인접분과내에서데이터를병합하면단일스타일보다일관되게높은
성능향상이나타났으며,특히서술구조·정보선택패턴이유사한조합에서개선폭이
크게증가하였다.이러한결과는단순한데이터증가가아니라,“임상적맥락이유사한
스타일과의병합”이외래기록지생성성능을실질적으로강화함을보여준다.정성적분석에서는lexical 지표로는 포착되지않는semantic 오류(정보 누락, 서술
전개 오류 등)를 확인하고, 병합 학습이 교수별 기술 방식을 안정적으로 재현한다는
점을 검증하였다. 한편, appendix에 제시된 스타일 거리 기반 병합 실험은 분과 기반
결과를보조적으로뒷받침하며,스타일유사도가병합효과에영향을미치는구조적특
성을추가적으로제시한다.또한continual finetuning 대비 merged-dataset finetuning
이손실의안정적수렴과스타일보존측면에서우수함을확인하였다.
종합하면,본연구는다문서기반외래기록지생성문제에대해분과기반병합이라
는현실적이고임상적으로해석가능한학습전략을제안하였으며,이는personalized
clinical note generation 및 다기관 확장 연구의 기반 기술로 활용될 수 있다

다국어 초록 (Multilingual Abstract)

This study proposes an effective training strategy for large language models
(LLMs) to generate postoperative outpatient notes, using real clinical data from
the Department of Surgery at Seoul National University Hospital. Outpatient
notes are complex documents synthesized from multiple sources—including initial
consultation notes, preoperative outpatient records, operative reports, and discharge
summaries—and the substantial stylistic and structural variation across departments
and individual physicians makes automated generation particularly challenging. To
address this issue, we develop a model that integrates a multi-source input framework
with a cluster-based merge finetuning strategy that reflects actual clinical workflows.
The core experiment of this study is the department-based merge analysis, which
examines how merging data from surgeons in Breast and Endocrine Surgery, Trans
plant and Vascular Surgery, and Colorectal Surgery affects generation performance.
Merging data within the same or adjacent departments consistently improved model
performance compared with single-style training, with especially large gains observed
when physicians shared similar narrative structures and information-selection patterns.
These findings demonstrate that performance gains arise not from simple data
expansion but from merging styles grounded in similar clinical contexts.
Qualitative evaluation further revealed semantic-level errors—such as information
omission or disrupted narrative flow—that were not fully captured by lexical metrics.
The analysis showed that merge finetuning better preserves physician-specific writing
patterns and enhances stylistic consistency. Additionally, supplementary experiments
in the appendix show that style-distance–based merging aligns with the department
based findings, and that merged-dataset finetuning yields more stable loss convergence
and better style retention than continual finetuning.
Overall, this study presents a practically applicable and clinically interpretable
training strategy for multi-source clinical document generation. The proposed merge
based framework offers a foundation for future research in personalized clinical note
generation and can be extended to multi-institutional settings.

목차 (Table of Contents)

• 초록 i
• 목차 iii
• 그림목차 vi
• 표목차 viii
• 제1장 서론 1
• 1.1 연구의 배경 및 필요성 1
• 1.2 문제제기 및 연구목적 5
• 제2장 이론적 배경 7
• 2.1 의료분야에서의 임상문서 생성 및 LLM 기반 학습 7
• 2.2 텍스트 생성에서의 스타일 모델링 및 Style Embedding 연구 9
• 2.3 Multi-source Document Integration 10
• 제3장 데이터 구축 11
• 3.1 데이터 수집 11
• 3.2 데이터 분석 12
• 3.2.1 수술 후 첫 외래기록 생성을 위한 Input 기록지 분석 12
• 3.2.2 교수별 Input 기록지 조합 분석 13
• 3.3 데이터 전처리 14
• 3.3.1 Multi-view 입력 정규화 및 Instruction 템플릿 14
• 3.3.2 비검사/검사 파트 분리 16
• 제4장 연구방법 17
• 4.1 스타일 기반 학습 구조 설계 18
• 4.1.1 Output-only Style Embedding 생성 18
• 4.1.2 교수 간 스타일 거리 계산 18
• 4.1.3 Softmax-weighted 스타일 거리 정의 20
• 4.2 Multi-style Merge 학습 실험 설계 23
• 4.2.1 실험 대상 교수군 선정 23
• 4.2.2 병합 학습 전략: Continual vs. Merged-dataset 24
• 4.2.3 분과 기반 병합 실험 24
• 4.2.4 스타일 거리 기반 병합 실험 25
• 4.3 실험 설정 및 윤리 준수 사항 28
• 제5장 연구결과 30
• 5.1 평가 메트릭 30
• 5.1.1 기존 평가지표 30
• 5.1.2 Bi-LCS 및 Bi-Exact 평가지표 정의 31
• 5.2 분과 기반 병합 실험 정량적 결과 33
• 5.2.1 Lee HB 교수 병합 실험 결과 33
• 5.2.2 Moon HG 교수 병합 실험 결과 34
• 5.2.3 Lee HJ 교수 병합 실험 결과 34
• 5.2.4 Gong SH 교수 병합 실험 결과 34
• 5.2.5 Min SG 교수 병합 실험 결과 35
• 5.2.6 Min SI 교수 병합 실험 결과 35
• 5.3 스타일 거리와 병합 효과의 관계 36
• 5.3.1 병합 조합별 성능 변화 36
• 5.3.2 거리와 성능 향상 간의 상관관계 37
• 5.4 분과 기반 병합 실험 정성적 결과 38
• 5.4.1 오류 유형 분석 38
• 5.4.2 스타일 재현성 분석 38
• 5.4.3 정성적 분석 종합 38
• 제6장 결론 및 고찰 41
• 제7장 한계 및 향후 과제 42
• Appendix 47
• A. 스타일 거리 기반 병합 실험 결과 47
• B. Continual 및 Merged dataset Finetuning 손실 비교 48
• Abstract 53