Development and clinical validation of a deep learning based fully automated grading system for dry eye disease severity = 딥러닝 기반 완전 자동화된 건성안 중증도 평가 시스템 개발 및 임상적 유용성 검증

국문 초록 (Abstract)

배경: 건성안은 가장 흔한 안과 질환 중 하나로, 안구 불편감과 시각 장애를 유발해 삶의 질에 큰 영향을 미칠 수 있다고 알려져 있다. 각막형광염색점수를 정확하게 평가하는 것은 질병의 진단, 치료 및 추적에 필수적이다. 하지만 현재 사용되고 있는 National Eye Institute (NEI) 척도를 포함한 건성안 중증도 평가 시스템은 주관적이며, 평가자에 의존하기 때문에 평가자 간 및 평가자 내 차이가 발생할 수 있다. 이에, 본 연구에서는 NEI 척도를 기반으로 한 임상적으로 적용 가능한 딥러닝 기반 완전 자동화된 건성안 중증도 평가 시스템을 개발하고, 딥러닝 기반 임상의사결정 지원 시스템의 효용성을 검증하고자 하였다.

방법: 딥러닝 기반 건성안 중증도 평가 시스템 개발을 위해 2019년부터 2021년까지 시스템 개발을 위한 서울대병원의 각막 형광염색사진(1400장)과 외부 검증을 위한 분당서울대병원의 각막형광염색사진(94장)을 수집하여 건성안 중증도를 예측하기 위한 딥러닝 알고리즘 개발에 사용하였다. 세 명의 전문가가 NEI 척도를 기준으로 각막형광염색사진을 0-15점으로 평가하였으며, 중간값을 참값으로 사용하였다. 시스템 개발은 다음과 같이 세 단계로 진행되었다. 1단계: 1100장의 각막형광염색사진을 이용하여 U-Net 모델 훈련을 통해 각막 영역 분할 모델을 개발하였다. 2단계: 200장의 각막형광염색사진에서 192×192 픽셀 크기의 24,559개의 패치를 사용하여 ImageNet으로 사전 학습된 VGG16 모델로 1단계의 각막 영역에서 점상각막미란 영역 분류 모델을 개발하였다. 3단계: Blob 탐지 알고리즘을 사용하여 점상각막미란을 자동으로 탐지하고, 점상각막미란 밀도 지도를 생성하였고, 이를 기반으로 5개의 구역의 maximum density value를 합산하여 NEI 척도 점수를 계산하였다. 또한, 임상적 효용성 확인을 위해, 서로 다른 시기에 동일안에서 촬영된 두 사진(총 50안, 100장)을 비교하여 시스템이 건성안 중증도의 개선 혹은 악화를 정확히 평가하는지 확인하였다. 개발된 딥러닝 시스템이 임상의사결정 지원 시스템으로써 효용성이 있는지 검증하기 위해 13명의 안과 의사가 NEI 척도를 기반으로 48개의 전안부 사진을 1주의 washout 기간을 두고 두 번의 세션에서 평가하는 리더 연구를 수행하였다. 첫 번째 세션에서는 이미지만을 이용하여 건성안 중증도를 평가했으며, 두 번째 세션에서는 임상의사결정 지원 시스템의 도움을 받아 평가를 진행하였다. 임상의사결정 지원 시스템의 성능을 평가하기 위해 검사자 간의 급내상관계수와 정확도를 분석하였다. 또한, 임상경험에 따라 검사자를 두 군으로 나누어 (주니어 안과 전문의(<5년), 시니어 안과 전문의(≥5년)) 군 간의 차이를 비교하였다.

결과: 각막 영역 분할 모델의 Dice 계수는 0.962이었다. 임계값은 0.98로 설정하였고, 이 때 점상각막미란 영역 분류 모델은 정확도 0.89, 민감도 0.82, 특이도 0.96, 곡선 아래 면적 0.97의 수치를 보였다. 내부 및 외부 검증 데이터셋에 대한 시스템과 참값 간의 상관계수는 각각 0.868 (p<0.001) 및 0.863 (p<0.001)이었다. 동일안에서 건성안 중증도의 개선 혹은 악화 여부를 정확히 평가하는지에 대한 시스템과 참값 변화 간의 일치율은 88%(44/50)이었다. 리더 연구에서 임상의사결정 지원 시스템을 사용한 경우 모든 영역에서 ICC 값이 증가하였으며, 범위는 0.0638에서 0.1424이었다. 정확도 또한 0.0638에서 0.1424 범위로 유의하게 향상되었다. 각 세션 내에서나 세션 간에서 주니어와 시니어 안과 전문의 간의 급내상관계수와 정확도에는 차이가 없었다.

결론: 완전 자동화된 딥러닝 기반 건성안 중증도 평가 시스템은 높은 정확도로 각막형광염색점수를 평가할 수 있다. 또한, 딥러닝 기반 임상의사결정 지원 시스템은 건성안 중증도 평가에서 검사자의 정확도와 일관성을 향상시키며, 이는 시스템의 임상 적용 가능성을 높이고 건성안 중증도 평가의 표준화에 도움이 될 수 있다.

다국어 초록 (Multilingual Abstract)

Background: Dry eye disease (DED) is one of the most prevalent eye conditions that can significantly impact quality of life by causing ocular discomfort and visual disturbance. Accurate evaluation of corneal fluorescein staining (CFS) is essential for diagnosis, treatment, and follow-up of DED. However, currently used CFS grading systems including National Eye Institute (NEI) scale are subjective and dependent on the observers, resulting in inter- and intra-observer variabilities. This study aimed to develop a clinically applicable fully automated deep learning-based system for the assessment of CFS based on the NEI scale and to validate its effectiveness as a clinical decision support system (CDSS).

Methods: For the development of a deep learning-based DED severity grading system, anterior segment photograph images of DED patients from one tertiary hospital (Seoul National University Hospital) for system development (n=1400) and from another tertiary hospital (Seoul National University Bundang Hospital) for external validation (n=94) were collected between 2019 and 2021 and used for deep learning algorithm development for predicting DED severity. Three experts graded (0–15) the CFS images based on the NEI scale, and the median value was used as the ground truth. The system was developed as follows: (1) using 1100 CFS images, U-Net model was trained to segment the corneal region; (2) classification model was trained using ImageNet pre-trained VGG16 model with 192×192 pixel-sized 24559 patches from 200 images, in which regions containing punctate dots were labeled; and (3) punctate dots were automatically detected using blob detection algorithms, and punctate dot density maps were generated. Finally, based on the density map, NEI scores were calculated after adding the maximum values of the five zones. To explore clinical efficacy, two images taken on different days in 50 eyes (100 images) were compared to evaluate the probability of improvement or deterioration. To validate the utility of the developed deep learning system as a CDSS, a reader study was conducted in which 13 ophthalmologists evaluated 48 anterior segment images based on the NEI scale in two sessions with a one-week washout period. In session 1, DED grading was performed only with images, and in session 2, grading was performed with the assistance of the CDSS. For evaluating the performance of CDSS, intraclass correlation coefficient (ICC) among examiners and accuracy were analyzed. Additionally, the examiners were divided into two groups based on their clinical experience: junior ophthalmologists (<5 years) and senior ophthalmologists (≥5 years), and ICC, accuracy and differences between the groups were compared.

Results: The Dice coefficient of the segmentation model was 0.962. Threshold was set at 0.98, and the classification model showed 0.89 for accuracy, 0.82 for sensitivity, 0.96 for specificity, and 0.97 for AUC. The correlation between the system and the ground truth data was 0.868 (p<0.001) and 0.863 (p<0.001) for the internal and external validation datasets, respectively. The agreement rate for improvement or deterioration between the proposed model and ground truth was 88% (44/50 patients). In reader study with CDSS, ICC values increased in all zones with improvements ranging from 0.0638 to 0.1424. Accuracy also improved significantly with increases ranging from 0.0638 to 01424. There was no difference in ICC or accuracy within each session or between sessions for junior and senior ophthalmologists.

Conclusion: The fully automated deep learning-based grading system for DED severity can evaluate CFS score with high accuracy. Additionally, deep learning-based CDSS improves the accuracy and consistency of examiners in assessing DED severity and thus has potential for clinical application and may help standardize the evaluation of DED severity.

목차 (Table of Contents)

• Abstract i
• List of Tables vii
• List of Figures viii
• List of Abbreviations ix
• Chapter 1. Introduction 1
• Chapter 2. Materials and Methods 5
• 1. Development of a grading system 5
• 1.1. Study design and patients 5
• 1.2. Anterior semgent image capture technique 5
• 1.3. NEI scoring method 5
• 1.4. Overall system development procedure 8
• 1.5. External validation 14
• 1.6. Serial data analysis 14
• 1.7. Statistical analysis 15
• 2. Validation of the system as CDSS (Reader study) 16
• 2.1. Validation set establishment 16
• 2.2. CDSS for DED severity assessment 16
• 2.3. Participants for the reader study 19
• 2.4. Overall reader study procedure 19
• 2.5. Main outcome measures 19
• 2.6. Statistical analysis 20
• Chapter 3. Results 21
• 1. Development of a grading system 21
• 1.1. Patient and image characteristics 21
• 1.2. Results of segmentation and classification model 28
• 1.3. Internal and external validations 32
• 1.4. Serial data analysis 34
• 2. Reader study results 35
• Chapter 4. Discussion 42
• 1. Key findings and contributions 42
• 2. Comparison with previous studies 44
• 3. Limitations 45
• Chapter 5. Conclusion 50
• References 51
• Abstract in Korean 55