Comparison of NLP machine learning models with human physicians for ASA Physical Status classification = 미국마취과학회(ASA) 신체 상태 분류에서 자연어 처리 기반 기계학습 모델과 임상 의사 간의 성능 비교

다국어 초록 (Multilingual Abstract)

The American Society of Anesthesiologist’s Physical Status (ASA-PS) classification system assesses comorbidities before sedation and analgesia, but inconsistencies among raters have hindered its objective use. This study aimed to develop natural language processing (NLP) models to classify ASA-PS using pre-anesthesia evaluation summaries, comparing their performance to human physicians. Data from 717,389 surgical cases in a tertiary hospital (October 2004 - May 2023) was split into training, tuning, and test datasets. Board-certified anesthesiologists created reference labels for tuning and test datasets. The NLP models, including ClinicalBigBird, BioClinicalBERT, and Generative Pretrained Transformer 4, were validated against anesthesiologists. The ClinicalBigBird model achieved an area under the receiver operating characteristic curve of 0.915. It outperformed board-certified anesthesiologists with a specificity of 0.901 vs. 0.897, precision of 0.732 vs. 0.715, and F1-score of 0.716 vs. 0.713 (all p < 0.01). This approach will facilitate automatic and objective ASA-PS classification, thereby streamlining the clinical workflow.

국문 초록 (Abstract)

미국 마취과학회(American Society of Anesthesiologists)의 신체 상태 분류(ASAPS, Physical Status) 체계는 진정 및 진통 전 환자의 동반 질환을 평가하기 위한 기준으로 널리 사용되지만, 평가자 간의 일관성 부족으로 인해 객관적인 활용에 제약이있어 왔다. 본 연구는 마취 전 평가 요약문을 기반으로 ASA-PS 등급을 자동 분류하는 자연어 처리(NLP) 모델을 개발하고, 이 모델의 성능을 실제 임상의와 비교하는 것을 목표로 하였다. 2004년 10월부터 2023년 5월까지 한 상급종합병원에서 시행된 717,389건의 수술 데이터를 훈련, 튜닝, 테스트 세트로 분할하였으며, 튜닝 및 테스트 세트에 대해서는 전문 마취과 전문의들이 기준 라벨을 작성하였다.ClinicalBigBird, BioClinicalBERT, Generative Pretrained Transformer 4(GPT-4)를 포함한 다양한 NLP 모델들이 마취과 전문의의 판단과 비교되어 검증되었다. 그
결과, ClinicalBigBird 모델은 수신자 조작 특성 곡선 하 면적(AUROC) 0.915를 기록하였으며, 특이도(0.901 vs. 0.897), 정밀도(0.732 vs. 0.715), F1 점수(0.716 vs.0.713) 등 모든 지표에서 마취과 전문의를 유의하게 상회하였다(p < 0.01). 이러한
접근법은 ASA-PS 등급의 자동화 및 객관화를 가능하게 하여 임상 업무의 효율성을 크게 향상시킬 수 있을 것으로 기대된다.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• Chapter 2. Methods 3
• Chapter 3. Results 19
• Chapter 4. Discussion 35
• Chapter 5. Conclusion 39
• Bibliography 40
• Abstract in Korean 45