응급실 비정형 텍스트의 정제 및 구조화를 위한 LLM 기반 파이프라인 개발 : 진단 추론 및 경량 모델 운용 타당성을 중심으로 = Development of an LLM-based Pipeline for Refining and Structuring Unstructured Emergency Texts

국문 초록 (Abstract)

본 연구는 응급실 초진기록의 현병력(HPI)을 중심으로 LLM 기반의 모듈형 데이터 정제 파이프라인을 개발하고 그 타당성을 검증하는 데 중점을 두었다. 이는 의료기관의 보안 및 운영 제약을 충족하면서도 비정형 텍스트를 구조화/선별하여 재현성과 해석가능성을 확보하는 것을 목표로 한다. 전체 파이프라인은 (1) 현병력 텍스트를 Current History(CH)와 Past History(PH)로 자동 분리하는 구조화 단계(시간적 맥락 정제), (2) CH 기반의 임상정보를 추출하여 가중화하는 선별 단계(임상적 맥락 정제), (3) 정제된 정보를 입력하고 외부 지식 그래프(Health KG)를 활용하여 추론진단을 생성하는 단계로 구성된다.
연구 결과, 1단계 구조화 모듈은 초대형 모델(Llama 3.1 405B) 기반 미세조정을 통해 ROUGE-L=0.9621, BLEU=0.9175의 높은 정제 성능과 임상적 유효성을 확보했다. 핵심적으로, CH/PH로 구조화된 입력은 Raw Text 입력 대비 MRR +0.07, Hit@5 +0.07 상승을 기록하며 과거 병력에 편향되는 '우선순위 혼동' 오류를 효과적으로 완화시켰다. 2단계 가중화 실험에서는 모든 임상 엔티티를 가중화했을 때 성능이 하락했지만 내원 사유와 직결된 증상(ASSO_SX_SN) 정보만을 선별하여 가중화했을 때 네 가지 입력 조건 중 가장 높은 진단 추론 성능(MRR=0.59, Hit@1=0.47)을 달성하였다. 다운스트림 과제의 성능을 결정짓는 것은 데이터의 양이 아닌 태스크 적합성에 기반한 정보의 질적 선별임을 입증한다. 3단계 RAG 조건은 외부 지식 그래프의 낮은 커버리지(38.1%)로 인해 전체 성능은 하락했으나 외부 지식 커버리지 데이터셋(N=99)에서는 Hit@1=0.60으로 최고 성능을 기록하며 최우선 진단 추론의 잠재력을 보였다. 하지만 Hit@k 후보 예측 순위에서는 '과잉 구체화 오류'로 인해 순위 정확도가 떨어지는 한계를 드러냈다. 종합적으로, 비정형 임상 기록의 시간적/맥락적 정제 및 선별이 모델의 전반적인 안정성 향상에 더 결정적인 영향을 미쳤음을 입증하며 RAG 모듈의 Hit@1 최고 성능은 정제된 데이터와 고품질 외부 지식의 시너지가 최종적으로 최고 성능을 달성할 수 있음을 시사한다.

다국어 초록 (Multilingual Abstract)

This study develops a modular LLM pipeline to refine and structure History of Present Illness (HPI) in emergency records for enhanced interpretability and diagnostic accuracy. The pipeline consists of three stages: (1) temporal structuring (CH/PH separation), (2) selective clinical weighting, and (3) knowledge-graph-based reasoning. Results show that temporal structuring significantly improved performance (MRR/Hit@5 +0.07) by mitigating bias toward past history. Notably, selective weighting of symptoms directly related to the chief complaint yielded the highest diagnostic performance (MRR=0.59, Hit@1=0.47), proving that data quality and task-relevance are more critical than data volume. While constrained by external knowledge coverage, the RAG module achieved a peak Hit@1 of 0.60 in high-coverage cases. Overall, this research demonstrates that precise contextual refinement of clinical narratives is essential for the stability and performance of LLM-based diagnostic models.

목차 (Table of Contents)

• I. 서 론 1
• 1. 연구 배경 1
• 1.1. 응급실 진단추론 및 의사결정의 중요성 1
• 1.2. 다운스트림 태스크를 위한 텍스트 데이터 정제 2
• 1.3. LLM 기반 현병력 정제를 통한 임상적 가치 제고 4
• 1.4. LLM 임상 현장 적용의 제약 5
• 1.5. 모듈형 파이프라인을 통한 해석가능성 확보 6
• 2. 관련 연구 7
• 2.1. 임상 텍스트 구조화 및 섹션 분류 7
• 2.2. 임상정보 추출 8
• 2.3. LLM 기반 추론진단 생성 및 임상 도입 9
• 3. 연구 목적 및 구성 11
• II. 방 법 13
• 1. 전체 연구 설계 13
• 1.1. 연구 개요 및 3단계 파이프라인 구조 14
• 1.2. 연구 데이터 및 모델 환경 14
• 1.3. 평가 설계 17
• 2. 데이터 18
• 2.1. 데이터 전처리 및 표준화 19
• 2.2. HPI 섹션 라벨링 데이터 구축 19
• 2.3. 시점 기반 주요 임상정보 라벨 데이터 구축 21
• 2.4. 추론진단 평가 데이터셋 구축 24
• 3. 1단계: 현병력 구조화 26
• 3.1. 데이터셋 및 라벨링 기준 27
• 3.2. Llama3.1 405B 기반 라벨 데이터 생성 27
• 3.3. Exaone 3.5 7.8B 미세조정 28
• 4. 2단계: Current History 기반 임상정보 가중화 29
• 4.1. 임상정보 유형 30
• 4.2. 임상정보 추출 환경 및 모델 구성 31
• 4.3. 임상정보 추출 프롬프트 설계 및 후처리 32
• 5. 3단계: 추론진단 생성 및 외부 지식 활용 34
• 5.1. 추론 환경 및 모델 구성 34
• 5.2. 외부 지식 활용 설계 35
• 5.3. 입력 조건별 프롬프트 설계 38
• 5.3.1. Raw Text 39
• 5.3.2. Structured text 39
• 5.3.3. Structured + Weighted Text 40
• 5.3.4. Structured + Weighted Text + RAG Text 41
• 5.3.5. 조건별 프롬프트 차별적 설계 요소 41
• 5.3.6. 프롬프트 공통 설계 원칙 42
• 6. 평가지표 43
• 6.1. 현병력 텍스트 구조화 성능 평가 43
• 6.1.1. 정량 평가 43
• 6.1.2. 임상적 적절성 평가 45
• 6.2. 주요 임상정보 추출 성능 평가 46
• 6.2.1. 평가 지표 46
• 6.3. LLM 추론진단 생성 성능 평가 47
• 6.3.1. 임베딩 기반 정답 판정 47
• 6.3.2. 평가 지표 48
• 6.3.3. 입력 조건별 성능 비교 49
• III. 결 과 51
• 1. 현병력 구조화 결과 51
• 1.1. Current History & Past History 구조화 성능 51
• 1.1.1. BLEU & ROUGE 51
• 1.1.2. 서브그룹 분석 53
• 1.1.3. 임상적 적절성 평가 54
• 1.2. 오류 분석 56
• 2. 주요 임상정보 추출 결과 57
• 2.1. Current Complaint관련 임상정보 추출 성능 57
• 2.2. 오류 분석 58
• 3. 추론진단 생성평가 결과 61
• 3.1. 입력 조건별 성능 비교 61
• 3.1.1. Top-k 성능 61
• 3.1.2. 기준선 모델 비교 63
• 3.2. 오류 분석 64
• 3.2.1. 우선순위 혼동 오류 64
• 3.2.2. 임상정보 가중화 효과 및 오류 분석 65
• 3.2.3. RAG 조건 성능 하락 원인 분석 66
• 3.2.4. 의미적 범주 및 구체성의 차이 67
• IV. 고 찰 68
• 1. 연구 요약 68
• 2. 모듈형 정제 파이프라인 효과 69
• 3. 최적의 임상정보 선별 70
• 4. 외부 지식 연동의 선행 조건 71
• 5. 연구 기여 72
• 6. 한계점 및 향후 연구 73
• V. 결 론 75
• 참 고 문 헌 76