병원 전 중증도 분류에서 LLM의 활용 : Pre-KTAS 기준에 따른 ChatGPT의 성능을 중점으로 = Utilization of Large Language Models in Prehospital Triage : A Focus on ChatGPT’s Performance According to Pre-KTAS

다국어 초록 (Multilingual Abstract)

Background: Accurate triage in prehospital emergency care is critical for improving patient outcomes but is often hindered by limited information, environmental constraints, and variability among providers. Although global interest in AI-assisted triage is growing, evidence regarding the application of Large Language Models (LLMs) in prehospital settings particularly with the Pre-Korean Triage and Acuity Scale (Pre-KTAS) remains limited.

Objective: This study assessed the performance of ChatGPT, both before and after training with official Pre-KTAS materials, by analyzing its triage accuracy, consistency, agreement with emergency medical technicians (EMTs), patterns of over- and under-triage, and diagnostic performance (sensitivity, specificity, PPV, NPV, AUC). The findings provide foundational data for developing AI-assisted prehospital triage systems.

Methods: A total of 100 expert validated Pre-KTAS simulation scenarios were used to compare three evaluator groups: an untrained LLM, a Pre-KTAS trained LLM, and ten certified EMTs. Each scenario was evaluated 30 times by the LLMs in independent sessions. Statistical analyses included Welch ANOVA, ICC(3,1), Cohen’s kappa, weighted kappa, χ² tests, and ROC curve analysis.

Results: The trained LLM demonstrated significantly higher overall accuracy (0.81 ± 0.03) than the untrained model (0.69 ± 0.10, p<.001) and showed performance comparable to EMTs (0.80 ± 0.03). It achieved superior accuracy for Pre-KTAS levels 1, 4, and 5, and exhibited the highest consistency (ICC=0.940). Agreement with EMTs improved notably after training (κ=0.66 vs. 0.56, p<.001). The trained LLM showed reduced over and under triage and strong diagnostic performance (sensitivity 0.95, specificity 0.92, PPV 0.88, NPV 0.97). All groups demonstrated excellent discriminative ability (trained LLMAUC 0.934; EMTs 0.934).

Conclusion: Following targeted Pre-KTAS training, ChatGPT achieved triage performance comparable to or exceeding that of experienced EMTs, with high accuracy, reliability, and reduced misclassification rates. These results support the feasibility of integrating LLMs as decision-support tools in prehospital triage and provide essential groundwork for future AI-based prehospital emergency care systems.

Keywords: Prehospital triage, Artificial intelligence, Large Language Model, ChatGPT, Pre-KTAS, Emergency medical services

국문 초록 (Abstract)

본 연구는 병원 전 단계에서 응급환자의 중증도를 분류하는 과정에 대 규모 언어모델(Large Language Model, LLM)을 적용하여 인공지능 기 반 중증도 분류의 정확도와 일관성 119구급대원과의 일치도, 분류 경 향, 민감도, 특이도, 양성예측도(PPV), 음성예측도(NPV), AUC를 분석 한 연구이다.

연구 목적 : 응급환자에게 정확한 중증도 분류를 시행하는 것은 환자의 생 존과 예후에 결정적인 영향을 미치는 과정이다. 그러나 현재 중증도 분류는 응급환자의 과밀화와 같은 환경적 요인과 중증도 분류를 시행하는 분류자에 게 내재 된 개인적 요인 등의 한계로 정확한 중증도 분류의 어려움이 보고 되고 있다. 이를 해결하고자 세계적으로 중증도 분류에서 AI의 활용이 연구 되고 있으나 병원 전 환경에서 적용을 위한 연구는 미미하다. 따라서 본 연 구는 국내 병원 전 환경에서 중증도 분류 도구로 사용중인 Pre-KTAS 기준 을 기반으로 LLM(ChatGPT)의 분류성능을 분석하여 병원 전 환경에서 LLM의 적용을 위한 기초자료를 제공하고자 한다.

연구 방법 : 시뮬레이션 시나리오 100례를 사용하여 Pre-KTAS 학습 전·후 LLM, 구급대원의 중증도 분류 응답을 얻어 중증도 분류 정확도 및 일관성, 119구급대원과의 일치도, 분류 경향, 민감도, 특이도, 양성예측도, 음성예측도, AUC를 분석한다.

연구 결과 : 중증도 분류 정확도 평가에서는 학습 LLM의 평균 정확도가 0.81 ± 0.03, 119구급대원의 평균 정확도가 0.80 ± 0.03로 나타나 비학 습 LLM의 정확도 0.69 ± 0.10보다 유의하게 높은 것으로 나타났다 (p<.001). 등급별 정확도에서는 학습 1·4·5등급에서 학습 LLM이 비학습 LLM보다 통계적으로 유의하게 높은 성능을 보였다(F=11.324 24.422, 299.5). 분류 일관성 분석에서는 학습 LLM의 ICC(3,1)의 값이 0.940(95%CI 0.927 – 0.955)으로 비학습 LLM의 0.836(95%CI 0.796 – 0.874)보다 높은 것으로 나타났다. 119구급대원과의 일치도(κ)는 학습 LLM이 0.66 ± 0.05로 비학습 LLM의 0.56 ± 0.11보다 유의하게 높은 것 으로 나타났다(p<.001). 정답등급별 세 집단의 예측 분포 차이 검증 결과 모든 등급에서 세 집단의 분류 경향 차이가 유의한 것으로 나타났으며 (p<.001), 학습 LLM이 비학습 LLM에 비해 과대·과소 분류가 적고 안정적 인 응답을 제시하는 것으로 나타났다. 민감도, 특이도, PPV, NPV 분석에 서 모든 지표가 유의미한 차이를 보였으며 각각 비학습 LLM(0.94/0.89/0.85/0.96), 학습 LLM(0.95/0.92/0.88/0.97), 구급대원 (0.91/0.96/0.93/0.94)으로 나타났다. AUC는 학습 LLM 0.934(95% CI 0.926–0.942), 구급대원 0.934(0.922–0.946), 비학습 LLM 0.915(0.904– 0.926)로 나타나, 세 집단 모두 ‘매우 우수’ 범주에 해당하였다.

결론 : Pre-KTAS 기준으로 시행한 중증도 분류에서 LLM은 학습을 통해 119구급대원과 유사하거나 더 높은 정확도 및 일관성을 보일 수 있음을 증 명하였으며, 과대·과소 분류율이 안정적으로 감소함을 보였다. 이러한 결과 는 병원 전 환경에서 중증도 분류 시 보조도구로서의 LLM의 활용 가능성 을 보여주며 추후 병원 전 환경 중증도 분류 AI 개발 시 기초자료로 활용 되어 도움을 줄 것으로 보여진다.

중심 단어 : 중증도 분류, AI, LLM, 병원 전, Pre-KTAS, ChatGPT

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1. 연구의 필요성 1
• 2. 연구의 목적 5
• 3. 용어 정의 6
• Ⅱ. 연구 방법 8
• 1. 연구 설계 8
• 2. 연구 대상 9
• 3. 평가자 11
• 4. 연구 도구 17
• 5. 연구 자료 수집 19
• 6. 자료 분석 방법 22
• Ⅲ. 연구 결과 24
• Ⅳ. 고찰 44
• Ⅴ. 결론 53