Multicenter validation of a machine learning model for predicting respiratory failure after non-cardiac surgery = 비심장 수술 후 호흡 부전 예측을 위한 머신 러닝 모델의 다기관 검증 연구

다국어 초록 (Multilingual Abstract)

Postoperative respiratory failure is a critical complication that requires precise identification of high-risk patients. We developed and validated a machine learning model using electronic health records (EHR) from 307,333 non-cardiac surgical cases to accurately predict postoperative respiratory failure, defined as prolonged (> 48 hours) mechanical ventilation or reintubation after surgery. The gradient boosting algorithm-based model was developed using a derivation cohort of 99,025 cases from Seoul National University Hospital between 2013 and 2019. External validation was conducted with three independent cohorts: Cohort A (Severance Hospital, 2019–2020; 60,923 cases), Cohort B (Ewha Womans University Mokdong Hospital, 2001–2019; 139,864 cases), and Cohort C (Korea University Guro Hospital, 2021; 7,521 cases). The model utilized eight readily available EHR variables, avoiding subjective clinical assessments by clinicians. These perioperative variables included demographics (age and body mass index), preoperative laboratory data (serum albumin, glucose, and creatinine levels, prothrombin time, and white blood cell count), and intraoperative data (duration of anesthesia). Internally, the model achieved an area under the receiver operating characteristic curve (AUROC) of 0.912 (95% confidence interval, 0.908–0.915), an area under the precision-recall curve (AUPRC) of 0.113, a balanced accuracy of 0.824, and an F1-score of 0.049. In external validation cohorts, the model achieved AUROCs of 0.879 (95% CI, 0.876–0.882) in Cohort A, 0.872 (95% CI, 0.870–0.874) in Cohort B, and 0.931 (95% CI, 0.925–0.936) in Cohort C. Corresponding AUPRC values were 0.029, 0.083, and 0.124; balanced accuracies were 0.783, 0.781, and 0.851; and F1-scores were 0.028, 0.053, and 0.050, respectively. Therefore, this machine learning model, utilizing eight readily available variables, demonstrated excellent predictive performance in both internal and external validation for predicting postoperative respiratory failure, highlighting its potential for personalized risk stratification and enhancing clinical decision-making through data-driven approaches.

국문 초록 (Abstract)

비심장 수술 후 발생하는 호흡부전(respiratory failure)은 수술 예후에 중대한 영향을 미치는 합병증으로, 고위험 환자를 조기에 선별할 수 있는 정확한 예측이 필수적이다. 본 연구에서는 총 307,333례의 비심장 수술 사례를 기반으로, 수술 후 48시간을 초과하여 기계 환기(mechanical ventilation)를 지속하거나 재삽관(reintubation)이 필요한 호흡부전을 예측하는 머신러닝(machine learning) 모델을 개발하고 이를 다기관에서 검증하였다. 본 모델은 2013년부터 2019년까지 서울대학교병원에서 시행된 비심장 수술 99,025례를 이용해 그래디언트 부스팅(gradient boosting) 알고리즘으로 개발하였다. 이후 세 기관의 독립된 외부 코호트를 통해 성능을 검증하였는데, 각각 △세브란스병원(코호트 A, 2019–2020년, 60,923례), △이화여자대학교 목동병원(코호트 B, 2001–2019년, 139,864례), △고려대학교 구로병원(코호트 C, 2021년, 7,521례)이 포함되었다. 본 모델은 주관적 임상 평가를 최소화하기 위해 전자의무기록에서 쉽게 추출 가능한 8가지 변수 (혈청 알부민, 연령, 마취 시간, 혈청 포도당, 프로트롬빈 시간, 혈청 크레아티닌, 백혈구 수치, 체질량지수)만을 사용하였다. 내부 검증에서 모델은 수술 후 호흡부전 예측에 대해 우수한 예측 성능을 나타냈으며, ROC 곡선 하면적(area under the receiver operating characteristic curve, AUROC) 0.912(95% 신뢰구간, 0.908–0.915), 정밀도-재현율 곡선 하면적(area under the precision-recall curve, AUPRC) 0.113, 균형 정확도(balanced accuracy) 0.824, F1 점수 0.049를 나타냈다. 외부 검증 코호트인 A, B, C에서의 AUROC는 각각 0.879(95% CI, 0.876–0.882), 0.872(95% CI, 0.870–0.874), 0.931(95% CI, 0.925–0.936)로 우수한 예측 성능을 보였으며, AUPRC는 각각 0.029, 0.083, 0.124, 균형 정확도 0.783, 0.781, 0.851, F1 점수 0.028, 0.053, 0.050으로 나타났다. 결론적으로, 본 연구에서 제시한 머신러닝 모델은 최소한의 검사 항목을 활용하여 비심장 수술 후 호흡부전 발생 위험을 효과적으로 예측함으로써, 맞춤형 위험 분류와 임상적 의사결정을 지원하는 데 기여할 것으로 기대된다.

목차 (Table of Contents)

• Abstract iii
• Table of Contents vi
• List of Tables and Figures vii
• Introduction 1
• Methods 3
• Results 12
• Discussion 45
• Conclusions 57
• References 58
• Abstract in Korean 67