Assessment of patient characteristics affecting the predictive validity of sleep disorder screening questionnaires = 수면질환 선별 설문지의 예측 타당도에 영향을 미치는 임상적 환자 특성 분석

다국어 초록 (Multilingual Abstract)

A previously developed machine learning algorithm, the SimpLe quEstionnairE Predicting Sleep disorders (SLEEPS), was designed to predict obstructive sleep apnea (OSA), combined insomnia and sleep apnea (COMISA), and chronic insomnia disorder (INSOMNIA) using a limited set of demographic data and questionnaire responses. This study aimed to validate the performance of the SLEEPS algorithm and to identify the clinical and demographic characteristics associated with correct and incorrect predictions.
Patient data were collected from two sleep clinics affiliated with a university hospital. Using this dataset, the SLEEPS algorithm estimated the probability of each condition. Diagnostic performance was assessed using the area under the receiver operating characteristic (AUROC) curve. Patient characteristics associated with correct and incorrect predictions were examined for each sleep disorder, based on predefined probability cutoffs.
Among patients with incorrectly predicted OSA, the majority were female (p < 0.001) and younger (median age 44 vs. 54; p < 0.001). This group also exhibited higher ISI scores (median 13 vs. 8; p < 0.001), lower AHI scores (median 27.4 vs. 38.2; p < 0.001), and lower BMI (p < 0.001). In the COMISA group with incorrect predictions, patients were also more likely to be female (p < 0.001) and younger (median age 49 vs. 58; p < 0.001). They had lower body mass indices (p < 0.05), as well as lower AHI (median 28.6 vs. 33.5; p < 0.05) and ISI scores (median 16 vs. 18; p < 0.001). Conversely, misclassified INSOMNIA patients were predominantly male (p < 0.001). These individuals had lower ISI scores (median 16 vs. 19; p < 0.001), but higher BMI and total AHI scores compared to correctly classified cases (p < 0.001).
This study confirmed that the SLEEPS algorithm demonstrates high and consistent accuracy in predicting sleep disorders. The identified probability cutoff values for each condition may serve as a useful screening tool to identify undiagnosed individuals who may not recognize symptoms of sleep disturbances. Moreover, analyzing the characteristics of individuals with correct and incorrect predictions offers valuable insights into the diagnostic strengths and limitations of the algorithm.

국문 초록 (Abstract)

SimpLe quEstionnairE Predicting Sleep disorders(SLEEPS)는 제한된 정보와 설문을 기반으로 폐쇄성 수면무호흡증(obstructive sleep apnea, OSA), 수면무호흡증이 동반된 불면증 (combined insomnia and sleep apnea, COMISA), 및 만성 불면증(chronic insomnia disorder, INSOMNIA)을 예측하는 기계학습 기반의 알고리즘이다. 본 연구의 목적은 실제 임상 환경에서 수집된 수면다원검사(polysomnography, PSG)를 이용하여 SLEEPS 알고리즘의 진단 성능을 검증하고, 수면질환 별 예측 성능에 영향을 주는 임상적, 인구학적 특성을 규명하는 데 있다.
본 연구는 대학병원에 소속된 두 개의 수면클리닉에서 수집된 환자 데이터를 후향적으로 분석하였다. 수집된 데이터에 SLEEPS 알고리즘을 적용하여 각 질환의 발생 확률을 산출하였으며, AUROC(Area under the receiver operating characteristic curve)를 이용해 평가하였다. 또한 각 질병 진단 확률에 대하여 절단값을 설정하고, 이를 기준으로 각 질환 별 정확 예측군과 부정확 예측군으로 구분하여, 임상적, 인구학적 특성을 비교 분석하였다.
총 4,526명의 환자가 분석에 포함되었다. SLEEPS 알고리즘의 AUROC는 OSA에서 0.976, COMISA에서 0.909, INSOMNIA에서 0.922로 나타났으며, 진단 정확도는 각각 91.6%, 79.7%, 81.4%였다. OSA에서 부정확하게 예측된 환자군(n=213/2,655, 8%)은 정확히 예측된 군에 비해 여성의 비율이 높고 연령이 낮았으며(p < 0.001), 불면증 중증도 지수(Insomnia Severity Index, ISI)는 높고 무호흡-저호흡 지수(apnea–hypopnea index, AHI) 및 체질량지수(body mass index)는 유의하게 낮았다(p < 0.001). COMISA에서 부정확하게 예측된 환자군(n=95/1,100, 8.6%) 역시 여성과 젊은 연령층의 비율이 높았으며(p < 0.001), 체질량지수, AHI 및 ISI 점수가 정확히 예측된 군에 비해 유의하게 낮았다(p < 0.05). 반면 INSOMNIA에서 부정확하게 예측된 환자군(n=72/771, 9.3%)은 남성의 비율이 높았고(p < 0.001), ISI 점수는 낮았으나 체질량지수와 AHI는 정확히 예측된 군보다 유의하게 높았다(p < 0.001).
본 연구는 SLEEPS 알고리즘이 OSA, COMISA, 및 INSOMNIA를 예측하는 데 있어 높은 진단 정확도와 안정적인 성능을 보임을 확인하였다. 질환별 확률 절단값은 실제 임상에서 수면장애 증상을 인지하지 못하는 환자를 선별하는 도구로 활용될 가능성이 있다. 또한 정확히 예측된 군과 부정확하게 예측된 군의 특성 분석을 통해 알고리즘의 진단적 강점과 한계를 확인하였으며, 향후 알고리즘 적용 시 고려해야 할 임상적 시사점을 제시한다.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• Chapter 2. Methods 4
• 1. Data collection 4
• 2. Inclusion and exclusion criteria 5
• 3. SimpLe questionnaire Predicting Sleep disorders (SLEEPS) 6
• 4. Statistical analysis 7
• Chapter 3. Results 9
• 1. Demographics of the participants and clinical characteristics 9
• 2. AUROC and cutoff probabilities 10
• 3. Analysis of each disease group 10
• 1) Analysis of OSA group 15
• 2) Analysis of insomnia group 15
• 3) Analysis of COMISA group 18
• 4. Analysis of detailed ISI items 18
• Chapter 4. Discussion and Conclusions 24