관상동맥질환 임상 의사결정 지원을 위한 멀티모달 융합 : PCI-CABG 치료법 선택 및 PCI 후 5년 내 사망 예측 = Multimodal Fusion for Clinical Decision Suppor In Coronary Artery Disease : PCI-CABG Treatment Selection and 5-Year Post-PCI Mortality Prediction

국문 초록 (Abstract)

재관류술 치료 방침 결정은 관상동맥조영술(CAG) 평가 과정에서의 관찰자 간 변이와 표준화의 한계로 인해 영향을 받으며, 이는 결과의 재현성과 객관적 일반화를 제한하는 요인이 된다. 실제 임상 현장에서는 영상, 시술 기록, 임상 변수 등을 종합적으로 고려 하지만, 기존의 인공지능 연구들은 이러한 데이터들을 개별적으로 처리하거나 단일 모달 리티에만 집중하여 상호 보완적인 정보를 충분히 활용하지 못하는 한계가 있었다. 이에 본 연구는 (1) CAG 영상과 임상 변수를 통합하여 PCI와 CABG 중 최적의 치료법 선택을 지 원하고, (2) 혈관 조영 영상, 시술 기록지, 정형 임상 데이터를 융합하여 PCI 후 5년 사 망률을 예측하는 멀티모달 프레임워크를 제안한다. 본 연구는 서울아산병원에서 2003년 1월부터 2018년 12월까지 수행된 재관류술 케이스를 선별하여 단일 기관 후향적 코호트 연구로 진행되었으며, 기관생명윤리위원회(IRB) 의 승인을 받았다. 첫 번째 목적인 치료법 선택을 위해 (i) LCA/RCA 분류기를 활용한 화 질 필터링, (ii) 준지도 커리큘럼 학습 및 인접 프레임 샘플링을 통한 대표 프레임 선정, (iii) 영상 특징과 임상 변수를 융합하여 다각도 예측을 종합하는 치료 분류로 구성된 3 단계 파이프라인을 구축하였다. 두 번째 목적인 5년 사망률 예측을 위해서는 CAG 프레임 에서 추출한 512차원의 CLIP 영상 임베딩과 시술 기록지에서 추출한 768차원의 BioBERT 텍스트 임베딩을 71개의 임상 변수와 결합(1,351차원)하였으며, 이를 기반으로 5-fold 교 차 검증을 통해 LightGBM 모델을 학습시켰다. 모델의 성능 평가는 AUROC, PR-AUC, macro F1 스코어를 포함하여, 예측 확률의 정확성을 검증하는 Calibration 지표(Brier score, ECE, Platt scaling을 적용한 신뢰도 곡선)와 임상적 순이익을 정량화하는 결정 곡선 분 석(DCA)을 활용하였다. 치료법 선택 모델의 평가 결과, 세 가지 모듈을 모두 통합했을 때 가장 높은 판별력 을 보였다. 모든 프레임을 사용한 베이스라인(AUC 0.6657) 대비 대표 프레임 선정 모듈 적용 시 AUC가 0.7026으로 향상되었으며, 화질 필터링을 추가했을 때 0.7082로 높아졌다. 최종적으로 임상 변수까지 통합했을 때 AUC 0.7217을 달성하여 실험한 구성 중 가장 우 수한 성능을 나타냈다. PCI 후 5년 사망률 예측 결과에서는 트라이모달(Trimodal) LightGBM 모델이 AUROC 0.814, PR-AUC 0.472, macro-F1 0.682를 기록하며 단일 및 이중 모달리티 모델보다 우수한 성능을 입증하였다. 특히 Platt scaling 적용 후 Brier 점수는 0.099에서 0.078로, ECE(Expected Calibration Error)는 0.107에서 0.041로 감소하였으며, 보정 기울기 (Calibration slope)가 0.70에서 0.93으로 개선되어 판별력을 유지하면서도 예측 확률의 신뢰도가 크게 향상되었다. 또한 결정 곡선 분석(DCA)을 통해 5~20%의 위험 구간에서 더 높은 임상적 순이익을 확인하였다. 결론적으로 본 연구의 멀티모달 통합 접근법은 PCI와 CABG 치료 선택의 일관성과 객 관성을 높이고 PCI 시술 환자의 장기 예후 예측 정확도를 개선함을 입증하였다. 또한 보 정 능력과 의사결정 분석 측면에서도 실질적인 이득을 확인하였다. 향후 연구에서는 실 제 임상 워크플로우 통합 및 다기관 외부 검증과 더불어, 고도화된 딥러닝 기술을 접목 하여 모델을 확장 및 발전시키는 방향으로 나아가야 한다.

다국어 초록 (Multilingual Abstract)

Revascularization decisions are influenced by inter-observer variability and limited standardization in the qualitative assessment of CAG, which constrains reproducibility and objective generalization. In practice, clinicians integrate imaging, procedural documentation, and clinical variables. However, earlier AI methods have commonly processed these inputs separately or emphasized a single modality, resulting in fragmented multimodal utilization and loss of complementary signal. We propose a multimodal framework to (1) support PCI vs CABG treatment selection by integrating CAG with clinical variables, and (2) predict 5-year post-PCI mortality using trimodal fusion of angiographic, procedural, and clinical data. We conducted a single-center, retrospective cohort study at Asan Medical Center (Seoul), screening revascularization cases from January 2003 to December 2018 with institutional review board approval (IRB No. 20230186). For Objective 1 (treatment selection), we built a three-module pipeline: (i) video- quality filtering via an LCA/RCA classifier, (ii) representative-frame selection with semi-supervised curriculum learning and adjacent-frame sampling, and (iii) treatment classification that fuses image features with clinical variables and aggregates multi-view predictions. For Objective 2 (5-year mortality), we extracted CLIP visual embeddings (512-d) from CAG frames and BioBERT textual embeddings (768-d) from procedural documentation, concatenated them with 71 clinical features (total 1,351-d), and trained LightGBM under 5-fold cross-validation. Evaluation metrics included AUROC, PR-AUC, macro-F1, calibration (Brier score, ECE, reliability curves with Platt scaling), and decision- curve analysis (DCA) to quantify net clinical benefit. Treatment selection results showed that combining all three modules yielded the highest discrimination. The baseline that used all frames achieved an AUC of 0.6657. Adding representative- frame selection increased AUC to 0.7026. Incorporating LCA/RCA filtering raised AUC to 0.7082. Integrating clinical variables achieved an AUC of 0.7217, which was the best among tested configurations. Five-year mortality results indicated that the trimodal LightGBM achieved AUROC 0.814, PR-AUC 0.472, and macro-F1 0.682, outperforming unimodal and bimodal baselines. Platt scaling improved calibration, with Brier score decreasing from 0.099 to 0.078, ECE10 decreasing from 0.107 to 0.041, and calibration slope improving from 0.70 to 0.93 without loss of discrimination. Decision-curve analysis demonstrated higher net benefit across the 5–20% risk range. Multimodal integration increases the consistency and objectivity of treatment selection for PCI versus CABG and improves long-term prognostic accuracy after PCI, with demonstrated gains in calibration and decision-analytic utility. Future work should focus on workflow integration and multi-center external validation.

목차 (Table of Contents)

• Abstract i
• Contents iii
• List of Figures iv
• List of Tables v
• Abbreviation vi
• Introduction1
• Chapter 1. Deep learning-based treatment decision support framework for multi-vessel coronary artery disease using integrated coronary angiography and clinical data 1
• 1) Introduction 2
• 2) Related Works 3
• 3) Method 5
• 4) Results 14
• 5) Discussions 21
• 6) Conclusion 23
• Chapter 2. Multimodal machine learning for 5-year mortality prediction after percutaneous coronary intervention 24
• 1) Introduction 24
• 2) Related Works 25
• 3) Method 26
• 4) Results 32
• 5) Discussions 37
• 6) Conclusion 39
• Conclusion 40
• References 41
• 국문 요약 45