선택 실수로 인한 KCl 처방 오류 감지 모델 개발 및 검증 : 딥러닝 기반의 KCl 처방 필요군 예측 모델 활용 = Development and validation of Detection model for Unintended KCl Prescribing errors: Using Deep learning-based Prediction model for patients in need of KCl

국문 초록 (Abstract)

약물 오류(medication error)는 환자에게 위해를 줄 수 있는 중요한 문제로 의료 현장에서 빈번하게 발생하고 있다. 약물 오류는 의료인이 약물을 처방하는 단계부터 환자에게 투약하는 단계에 이르기까지 약물과 관련된 모든 단계에서 발생할 수 있다. 약물 처방 단계에서 발생하는 약물 오류를 처방 오류(prescribing error)라고 하며, 예방 가능한 약물 오류의 대부분이 약물 처방(physician ordering) 단계에서 발생한다. 이러한 처방 오류를 극복하기 위해 Computerized physician order entry (CPOE) 시스템을 도입하였다. 하지만, CPOE 시스템 도입으로 인해 처방 오류 예방 가능해진 반면 잘못된 환자 선택, 잘못된 약물 선택 등의 예기치 않게 발생한 새로운 처방 오류들이 부각되고 있다. 이러한 선택 실수에 의한 약물 처방 오류를 예방하기 위한 시도가 이루어지고 있지만 많지 않으며, 완전히 예방하기에 충분하지 않다. 본 연구에서는 약물 처방 단계에서 환자를 잘못 선택하거나, 처방할 약물 종류를 실수로 잘못 선택하여 발생하는 약물 처방 오류를 “부적절한 처방”이라고 정의하였으며, 이러한 “부적절한 처방”을 감지하는 머신 러닝 기반의 모델을 개발하고 검증하는 것을 목표로 하였다.
이 연구는 삼성서울병원의 약물 처방 데이터를 활용한 후향적 연구이다. 2015 년 1 월 1 일부터 2019 년 12 월 31 일 기간 동안 삼성서울병원에 입원하거나 응급실에 내원한 성인 환자에게 처방된 주사제 약물 처방 케이스가 포함되었다. 처방 단계부터 각별한주의가 필요한 고위험 약물인 KCl 정맥 주사약을 대상으로 연구를 진행하였다. 연구는 “모델 개발 및 내부 검증 단계”와 차트 리뷰를 통한 “모델의 임상적인 검증 단계” 두 단계로 수행되었다.
일반 KCl 처방군은 총 146,364 건 이었으며, 부적절한 KCl 처방군에 629 종류로 구성된 430,842 건의 약물 처방이 포함되었다. 첫 번째 단계에서 모델이 스크리닝 툴로 사용될 수 있도록 모델의 임계 값을 선정하였다. 선정된 임계 값에서 sensitivity 가 0.98 이었으며, AUROC (Area under the receiver operator characteristics curve), PPV, NPV, accuracy 가 0.9 보다 높아 좋은 성능을 보여주었다. 두 번째 단계에서 부적절한 처방 가능성이 높은 KCl 처방 그룹에 대한 모델 결과를 차트 리뷰를 통해 0.95 보다 높은 sensitivity 와 NPV 를 가지는 것을 확인 할 수 있었다.
이는 우리가 개발한 모델이 실제 임상 환경에 적용되었을 때 스크리닝 툴로써 부적절한 처방을 잘 감지할 수 있는 잠재력이 있음을 보여준다. 모델이 전자 건강 기록(Electronic Health Record, EHR)을 기반으로 개발되어 의료인의 추가적인 업무 없이 자동적으로 부적절한 처방의 위험도를 계산할 수 있어 임상 현장에 적용되었을 때 업무 부담을 최소화하여 워크플로우에 통합 적용될 수 있을 것으로 기대된다.

다국어 초록 (Multilingual Abstract)

Medication errors, which are the potential international harm for patients, can occur in the whole process from the physician ordering phase to the administration to the patient phase. Among them, prescribing errors are common but preventable. Computerized prescriber order entry (CPOE) is a representative of the prevention effort of prescribing errors. However, unintended errors, such as wrong patient and wrong medication selection, derived from CPOE occurred against the intended purpose of adopting it. There are several studies to prevent these errors, but not enough to fully overcome them. The prescribing errors resulting from the wrong patient and wrong medication selection are defined as “unintended prescribing errors” in this study. This study aims to develop and validate a machine learning-based unintended prescribing error detection model for inpatients and emergency department (ED) patients.
The study was conducted retrospectively based on electronic health records (EHRs) data of Samsung Medical Center. The study included injectable drug prescriptions for adult inpatients or ED patients between January 2015 and December 2019. We focused on prescriptions for KCl (Potassium chloride for injection), a highalert medication that requires special precautions. The study was conducted in two stages: “Model development and internal validation” and “Clinical validation for the model” through chart review analysis.
There was a total of 146,364 cases for “general KCl prescription” and 430,842 cases for “unintended KCl prescription” consisting of 629 medications, not KCl. In the first stage, AUROC, sensitivity, specificity, PPV, NPV, F1-score, and accuracy were 0.952, 0.976, 0.808, 0.937, 0.919, 0.860, 0.933, respectively at the selected threshold for screening tool. In the second stage, the model performances in the group, which have a high potential for unintended KCl prescription, were 0.968 for sensitivity and 0.959 for NPV.
The developed model is expected to detect potential unintended prescribing errors through effective screening when applied to a clinical setting.

목차 (Table of Contents)

• 제1장 연구 서론 1
• 1.1 연구 배경 1
• 1.1.1 약물 오류 1
• 1.1.2 약물 처방 오류 2
• 1.1.3 CPOE로 인해 의도하지 않게 발생한 약물 처방 오류 2
• 1.1.4 선택 실수로 인한 약물 처방 오류 3
• 1.1.5 선택 실수로 인한 약물 처방 오류를 극복하기 위한 노력 3
• 1.2 연구 목표 4
• 제2장 연구 방법 5
• 2.1 부적절한 약물 처방 정의 5
• 2.2 연구 세팅 7
• 2.3 연구 대상 및 데이터 소스 7
• 2.4 모델 개발 및 내부 검증 8
• 2.4.1 데이터셋 8
• 2.4.2 실험군과 대조군 정의 9
• 2.4.3 모델의 결과 10
• 2.4.4 예측 변수 11
• 2.4.5 데이터셋 전처리 11
• 2.4.6 데이터셋 분리 및 표본 사이즈 12
• 2.4.7 모델 개발 13
• 2.4.8 모델 평가 14
• 2.4.9 통계 분석 15
• 2.5 모델의 임상적인 검증 16
• 2.5.1 차트 리뷰 대상 선정 16
• 2.5.2 모델 결과 분석 17
• 2.5.3 거짓 알람 분석 18
• 2.5.4 차트 리뷰어 19
• 제3장 연구 결과 20
• 3.1 모델 개발 및 내부 검증 20
• 3.1.1 연구 대상 20
• 3.1.2 부적절한 KCl 처방 데이터셋과 일반 KCl 처방 데이터셋의 특성 비교 20
• 3.1.3 모델 평가 23
• 3.2 모델의 임상적인 검증 26
• 3.2.1 차트 리뷰 대상 26
• 3.2.2 모델 결과 분석 26
• 3.2.3 거짓 알람 분석 28
• 제4장 연구 고찰 30
• 4.1 연구 고찰 30
• 4.1.1 모델 개발 및 내부 검증 단계에서의 주요 결과 해석 30
• 4.1.2 임상적인 검증 단계에서의 주요 결과 해석 31
• 4.1.3 이전 연구와의 비교 32
• 4.1.4 경보 피로 문제 33
• 4.1.5 모델의 활용 33
• 4.2 연구 한계 및 향후 연구 과제 34
• 4.3 연구 결론 35
• 참고 문헌 37
• 부록 43
• <부록 1> 모델 예측 변수 43
• <부록 2> 예측 변수 결측률 45
• <부록 3> 약물 처방 오류 알람의 임상적인 유용성(Clinical usefulness of alert)을 평가하기 위해 사용한 툴 47
• ABSTRACT 52