A Study on the Practical Application of Deep Learning-based Image Processing Methods for Gastrointestinal Endoscopy = 위장관 내시경 영상의 활용을 위한 딥러닝 기반 이미지 처리 기법에 대한 연구

다국어 초록 (Multilingual Abstract)

This dissertation addresses a central challenge in gastrointestinal (GI) endoscopic imaging—the inconsistency in image quality, which significantly hampers reliable lesion detection using deep learning–based methods. Unlike other general-purpose images, endoscopic imaging is inherently constrained by modality-specific factors such as unpredictable illumination, anatomical artifacts, and inter-operator variation. Endoscopic imaging is inherently susceptible to variations in quality due to diverse environmental and procedural factors, making it challenging to maintain.
This study proposes a framework that identifies and quantifies three fundamental clinical decision error sources in endoscopic imaging: 1) device-oriented artifacts, 2) intrinsic anatomical artifacts, and 3) inter-/intra-operator variation. It introduces targeted strategies to mitigate their respective impacts of each. These sources are addressed through domain-adapted processing strategies suggested by skilled clinicians, aiming to enhance the robustness, consistency, and clinical applicability of deep learning-based lesion detection systems.
Device Oriented Artifacts refer to image quality degradation such as uneven illumination and color channel separation due to rotating light sources. A focus group (skilled clinicians) data review was conducted to address these artifacts. Their insights suggest the design of a domain-adapted image quality assessment (IQA) framework that quantitatively evaluates clarity, surface integrity, and illumination homogeneity. This framework enables reproducible evaluation and mitigation of clinical decision errors arising from device-oriented artifacts. Quantitative evaluations demonstrate that models trained on quality-sorted datasets not only outperform those using randomly sampled or unfiltered data but also achieve faster convergence and improved diagnostic metrics—including sensitivity, specificity, positive predictive value, negative predictive value and accuracy. Comparative assessments against clinician reviews and latency evaluations further support the feasibility of future real-time deployment.
Intrinsic Anatomical Artifacts result from non-pathological intraluminal elements such as seeds, stool, and bubbles, or temporary lens obstructions during endoscopic procedures. As these features are not present in general-purposed datasets, a domain-adapted processing strategy was developed to mitigate their impact. During data curation, such artifacts were explicitly classified and incorporated into training using hard negative mining. This approach enabled the model to distinguish true lesions from non-pathological artifacts, thereby reducing FPs and improving specificity. By embedding clinical domain knowledge into the training process, the model’s reliability in real-world clinical applications was further enhanced.
Inter-/Intra-Operator Variation reflects disparities in adenoma detection rates (ADR) and scope-handling skills among operators, a persistent limitation of endoscopic practice.
Skilled clinicians often rely on contextual cues beyond lesion boundaries, whereas bounding box annotations typically only encode the visible margins, thus failing to fully capture these fine-grained details.
Therefore Soft-margin was incorporated into the YOLOv7 bounding-box regression loss, enabling the model to better accommodate soft lesion boundaries and uncertain margins. This method mirrors the clinical judgment regarding adjacent mucosa and improves model flexibility in boundary interpretation.
Additionally, separate detection models were trained for the upper and lower GI tracts, tailored to their distinct anatomical structures and procedural contexts. An anatomical localization module was integrated to assign detected lesions to standardized GI regions, supporting structured reporting and enhancing interpretability. Altogether, these solutions improve model generalization across variable diagnostic scenarios, enhance robustness to clinical heterogeneity, and strengthen interpretability by linking detections to anatomically meaningful structures.
This work presents a modality-aware, tailored framework for computational GI image analysis by structurally decomposing clinical sources of decision errors and resolving each issue by applying an interpretable, domain-adapted deep learning-based solution—thereby establishing a reproducible and generalizable system for high-accuracy, clinically aligned lesion detection in GI endoscopy.

국문 초록 (Abstract)

본 논문은 위장관(GI) 내시경 영상 분야의 핵심인, 내시경 영상의 영상 품질 일관성 부족에 대한 문제를 다룬다. 이러한 품질 문제는 내시경 검사뿐만 아니라 내시경 영상에서 병변을 탐지하는 딥러닝 기반의 의사결정 알고리즘의 신뢰성을 저해하는 요소로 작용한다. 일반적 이미지와 달리, 내시경 영상은 예측 불가능한 조명의 범위, 해부학적 구조물에 의한 가림, 검사자 간의 편차와 같은 특유의 요인들에 의해 제약을 받는데, 이러한 요인들은 시각적 요소의 선명도를 떨어뜨릴 뿐만 아니라, 해당 이미지 데이터로 학습된 심층학습 기반 의사결정 모델의 재현성 및 일반화 능력을 저하시킨다.
본 연구에서는 내시경 영상에서의 세 가지 근본적인 임상 의사결정 오류의 요인을 식별하고 정량화 하는 프레임워크를 제안한다. 이는 각각 1) 내시경 기기적 특성에 기인한 오류 유발요인, 2) 해부학적으로 발생하는 물질에 의한 내재적 오류 유발요인, 3) 검사자 간/내 편차로 정의되었으며, 각 요인의 영향을 완화하기위해 표적화된 전략을 도입하였다. 숙련된 임상 의사들의 제안을 바탕으로한 도메인 최적의 처리 전략을 통해 이러한 문제를 해결하는 접근 방법은, 딥러닝 기반 병변 탐지 시스템의 견고성, 일관성 및 임상적 적용 가능성을 향상시키는 것을 목표로 한다.
내시경 기기적 특성에 기인한 오류 유발요인은 광원의 특수성으로 인한 불균일한 조명 및 색상 채널 분리와 같은 영상 품질 저하를 의미하며, 이를 해결하기 위해 세명의 숙련된 임상 의사들로 구성된 그룹의 의견 검토를 수행하여 내시경 영상의 선명도, 병변의 표면 상태, 광학적 균일성을 정량적으로 평가하는 도메인 최적의 영상 품질 평가(IQA) 모델을 제안하였다. 정량적 평가는 품질 순으로 정렬된 데이터세트를 사용한 심층학습 방식이 무작위 샘플링 되거나 필터링 되지 않은 데이터를 사용한 방식에 비해 더 빠른 학습 수렴과 향상된 진단 성능을 달성함을 보여준다.
해부학적으로 발생하는 물질에 의한 내재적 오류 유발요인은 씨앗, 대변, 거품과 같은 비병리학적 장내 요소와 내시경 시술 중 일시적으로 렌즈를 가리는 이물질에 의해 발생한다. 데이터 구성과정에서 이러한 이물질들을 명시적으로 분류하는 하드 네거티브 마이닝(Hard Negative Mining)을 사용하여 학습에 포함시킴으로써, 실제 병변과 비병리학적 이물질을 구별하도록 함으로써 오검출률을 줄이고, 특이도를 향상시켰다.
검사자 간/내 편차는 검사자간의 선종 탐지율 및 스코프 조작 기술의 차이를 반영한다. 일반적으로 검출 알고리즘에 주석으로 사용되는 박스 좌표는 정확한 경계선만을 인코딩하여 이러한 세부 정보를 포괄하지 못하는 반면 숙련된 임상의들은 병변 경계 및 주변의 복합적 단서를 포착한다. 이러한 임상의의 판단을 모방하여 경계 해석에 대한 모델의 유연성을 향상시키기 위해 검출 알고리즘의 박스 좌표를 회귀하는 손실함수에 소프트 마진을 적용하였고, 모델이 부드러운 병변 경계 및 불확실한 가장자리를 더 민감도 높게 학습하도록 하였다.
이러한 해결책들을 통해 가변적인 진단 시나리오 전반에 걸쳐 모델이 가지는 임상적 이질성에 대한 강건성을 개선하였으며, 탐지된 병변은 해부학적으로 의미 있는 구조와 연결함으로써 해석 가능성을 강화하였다.
본 연구는 위장관 내시경 영상의 임상적 의사결정의 오류 유발 요인을 정의하고 각 요인을 임상적으로 부합한 딥러닝 기반 솔루션에 연결한 연구로서 정확한 병변 탐지와 해부학적 위치 기반 리포팅이 통합된 내시경 보조 시스템 설계 방법을 제시한다.

목차 (Table of Contents)

• Abstract
• Table of Contents
• List of Tables
• List of Figures
• List of Abbreviations
• Chapter 1. Introduction 1
• 1.1. The Clinical Significance of Endoscopic Image Analysis 1
• 1.2. Challenges in Endoscopic Image-based Deep Learning Systems 6
• 1.3. Objectives and Contributions 13
• 1.4. Dissertation Organization 18
• Chapter 2. Materials and Methods 21
• 2.1. Quality-Aware Preprocessing and Data Curation 21
• 2.1.1. Endoscopy-Specific Preprocessing and Clinically Guided Image Selection Criteria 27
• 2.1.2. Analysis and Quantification of Endoscopic Image Quality Degradation and Non-Informative Regions 35
• 2.1.3. Image Annotation and Ground Truth Labeling 48
• 2.2. Multi-Class Lesion Detection in the Upper Gastrointestinal Tract 53
• 2.2.1. Model Development and Implementation 57
• 2.2.2. Strategies for Performance Improvement 68
• 2.2.3. Comparative Performance Analysis with Expert Endoscopists 75
• 2.3. Multi-Class Lesion Detection in the Lower Gastrointestinal Tract 77
• 2.3.1. Model Development and Implementation 78
• 2.3.2. Strategies for Performance Improvement 81
• 2.3.3. Impact of Quality-Aware Preprocessing on Lesion Detection Performance 86
• 2.4. Anatomical Landmark Detection and Localization Framework for Colonoscopic Lesion Mapping 89
• 2.5. Controlled Observer Study for Evaluating a Simulated Real Time CADe System 94
• Chapter 3. Results 100
• 3.1. Quality-Aware Preprocessing: Quantitative Assessment of Image Quality and Non-Informative Content 100
• 3.2. Multi-Class Lesion Detection in the Upper Gastrointestinal Tract 106
• 3.2.1. Upper GI Endoscopic Image Dataset Characteristics 106
• 3.2.2. Performance Evaluation of Improvement Strategies 112
• 3.2.3. Results of Comparative Expert Analysis 118
• 3.3. Multi-Class Lesion Detection in the Lower Gastrointestinal Tract 122
• 3.3.1. Lower GI Endoscopic Image Dataset Characteristics 122
• 3.3.2. Performance Evaluation of Improvement Strategies 128
• 3.3.3. Results of Quality-Aware Preprocessing 132
• 3.4. Performance of Density-based Clustering Anatomical Section Recognition 137
• 3.5. Observer Study and CADe Evaluation: Detection Accuracy and Clinical Impact 139
• Chapter 4. Discussion 153
• 4.1. Analysis of False Positives and Remaining Challenges 153
• 4.2. Significance of Image Quality in Deep Learning-based Endoscopy 158
• Chapter 5. Conclusion 164
• 5.1. Research Needs 166
• 5.2. Main Contributions 169
• 5.3. Limitation 172
• 5.4. Future Work 175
• Acknowledgments 178
• Funding 180
• References 182
• Abstract in Korean 209
• 감사의 글 212