딥러닝 기반 분할 기법의 흉부 영상에서의 응용: 흉부 X선 추적 영상 변화 판별과 흉부 CT 폐 삼분할 = Applications of Deep Learning-Based Segmentation in Thoracic Imaging: Follow-up Chest X-ray Change Classification and Lung Trisectional Segmentation on Chest CT

국문 초록 (Abstract)

흉부 X-ray와 폐 CT와 같은 의료 영상들은 대다수의 임상 현장에서 폐질환을 진단하고 추적 관리하는데 필수적인 역할을 담당하고 있다. 이런 의료 영상들의 분석 및 관리를 위하여 상당한 시간, 그리고 영상의학 전문의와 같은 고급 인력이 소요된다. 특히 중환자실이나 응급실과 같은 경우, 많은 수의 의료 영상들이 일 단위 혹은 짧게는 시간 단위의 간격으로 촬영되며, 비교적 심각한 상태의 환자들이 많기에 무엇보다 빠르고 정확한 분석이 필수적이다. 이런 문제들은 의료 영상의 신속하고 일관된 해석을 위한 자동화된 보조 도구의 필요성이 점점 커지고 있음을 시사하며, 최근 빠르게 발전하고 있는 딥러닝 기반 기술들이 이러한 문제들을 해결하기 위한 유망한 접근법으로 주목되고 있다. 우리는 딥러닝 기반 분할 기법을 영상 판독 과정에 적용함으로써, 이러한 접근이 실제로 임상적으로 유용한지 검증해 보았다. 첫째로, 우리는 환자의 추적 흉부 X-ray 영상을 분할하여 해당 환자의 병변 변화 여부를 “변화 있음” 혹은 “변화 없음”으로 자동 판정하는 프레임워크를 개발하였다. 해당 프레임워크는 두 부분으로 이루어져 있다. 1) 딥러닝 기술을 활용한 병변 및 의료장비 분할, 2) 그리고 사전 정의된 임계값을 활용한 분류이다. 해당 프레임워크를 활용하여 응급실 환자들을 대상으로 폐경화(Consolidation)에 대해 AUC (Area Under the Curve) 0.988을, 흉수(Pleural Effusion)에 대해 AUC 0.883의 성능을 확인하였으며, 중환자실 환자들을 대상으로는 폐경화에 대한 AUC 0.970, 그리고 흉수에 대한 AUC 0.955의 성능을 확인 하였다. 뿐만 아니라, 영상의학과 전문의의 분석결과와의 비교를 통해 개발된 자동화 판독 프레임워크가 임상적으로 의미있는 성능을 보여줌을 검증하였다. 둘째로, 우리는 딥러닝 기반 분할 기법을 활용하여 3차원의 폐 CT를 3분할 하는 알고리즘을 개발하였다. 우리는 영상의학과 전문의들에게 의뢰하여 수술 전 폐 CT 영상에서의 종양 위치를 분석하였다. 사전 정보 없이, 전문의들간의 종양 위치 판독 일치도는 0.72 에 그쳤지만, 개발된 알고리즘을 통해 만들어진 3분할 폐 마스크가 주어졌을때는 판독 일치도가 0.95까지 상승함을 확인하였다. 또한, 우리는 해당 3분할 알고리즘을 진단 기준으로 사용하였을 때의 임상적 의의를 확인하기 위하여, 실제 종양 사례에 적용해 보았다. 그 결과, 해당 알고리즘을 통해 분할한 영역 중, 내부 (inner-one-third) 영역에 위치한 종양은 재발 없는 생존 기간이 유의하게 더 나쁜 것을 확인하였다. 이를 통해, 우리는 폐 CT에서의 종양 위치 표준화를 위한 기준을 갖추는 것이 임상 분석에서 의미가 있으며, 판독자들에게 보다 명확한 기준을 제공함으로써 일관된 분석을 가능케함을 확인하였다. 본 연구에서는 위 두 가지 사례를 통해, 딥러닝 기반 분할 기법이 영상 판독 과정에서 임상적으로 유용하게 활용될 수 있음을 검증하였다.

다국어 초록 (Multilingual Abstract)

Medical imaging like computed tomography (CT) images and X-rays are widely used as diagnostic imaging in the clinical field. Especially for pulmonary diseases, chest X-rays and lung CTs are used to detect thoracic abnormalities and monitor changes during follow-ups. However, interpreting these images not only requires sufficient number of expert radiologists, but also is time-consuming. Especially, in settings like intensive care unit, where taking over the patients with severe conditions, it is essential to reduce the interpretation time. These problems indicate the importance of automated assistive tools that enable fast, consistent, and accurate interpretations. Deep learning-based techniques have been rapidly evolving and have recently drawn attention as a promising approach. In this study, we applied deep learning-based segmentation techniques in medical image interpretation to evaluate their clinical applicability. In the first application, we have developed an automated framework that can classify whether a patient’s lesion condition has “changed” or “unchanged” using the follow-up x-rays taken over multiple time points. This framework is composed of two parts: 1) deep learning-based segmentations of lesions (consolidation and pleural effusion here) and medical devices from the paired follow-up x-rays, and 2) classifications of the quantified changes of each class into “changed” or “unchanged” with a pre-defined threshold. Using this framework, we obtained an AUC of 0.988 for consolidation and 0.883 for pleural effusion in emergency department (ED), and AUC of 0.970 for consolidation and 0.955 for pleural effusion for intensive care unit (ICU). The results demonstrated that the automated assessment framework based on deep learning segmentation showed meaningful performance, which is comparable to that of radiologists. In the second application, we developed a deep learning-based segmentation model that can partition 3D lung CTs into three concentric regions. Radiologists reviewed preoperative lung CTs overlaid with the partitioned lung masks to classify each tumor as located in the inner, middle, or outer third. Without the overlay, the agreement for the “inner one-third, tumor center-based” definition was 0.72, while it increased to 0.95 (almost perfect) with the mask, indicating that the model contributed to the improvement of interobserver consistency in classification. We also applied these three partitioned criteria to real tumor cases to evaluate their clinical significance. As a result, we found that tumors located in the inner-one-third were associated with significantly worse recurrence-free survival (HR 1.52, p < 0.001). Through this, we validated that having a clear standard for tumor localization is meaningful in clinical analysis, as it provides radiologists with an unambiguous standard for interpretation, thereby improving consistency. In this study, we confirmed through two applications that deep learning-based segmentation can be successfully applied in a meaningful way in medical image analysis.

목차 (Table of Contents)

• Abstract ⅰ
• Contents ⅱ
• Contents of Tables ⅲ
• Contents of Figures ⅳ
• List of Abbreviations v
• Introduction 1
• Background 2
• Image Segmentations in Medical imaging 2
• Conventional Segmentation Methods 2
• Deep Learning-based Methods 3
• Evaluation Metrics 5
• Applications 6
• 1) Assessment of follow-up chest radiographs using lesion segmentation 6
• Background 6
• Methods 7
• Results 10
• Discussion 17
• 2) Tumor localization using tri-sectional lung segmentation 19
• Background 19
• Methods 19
• Results 22
• Discussion 27
• Conclusion 28
• References 29
• Abstract (Korean) 31