Interpretable Local Editing Model for Counterfactual Medical Image Generation = 가정적 의료영상 생성을 위한 설명 가능한 국소 편집 모델

다국어 초록 (Multilingual Abstract)

Counterfactual medical image generation have emerged as a critical tool for enhancing AI-driven systems in medical domain by answering ”what-if” questions. However, existing approaches face two fundamental limitations: First, they fail to prevent unintended modifications, resulting collateral changes in demographic attributes when only disease features should be affected. Second, they lack interpretability in their editing process, which significantly limits their utility in real-world medical applications. To address these limitations, we present InstructX2X, a novel interpretable local editing model for counterfactual medical image generation featuring Region-Specific Editing. This approach restricts modifications to specific regions, effectively preventing unintended changes while simultaneously providing a Guidance Map that offers inherently interpretable visual explanations of the editing process. Additionally, we introduce MIMIC-EDIT-INSTRUCTION, a dataset for counterfactual medical image generation derived from expert-verified medical VQA pairs. Through extensive experiments, InstructX2X achieve state-of-the-art performance across all major evaluation metrics. Our model successfully generates high-quality counterfactual chest X-ray images along with interpretable explanations.

국문 초록 (Abstract)

가정적 의료 영상 생성은 “만약 이 환자에게 다른 질환이 있었다면 영상이 어떻게 달라졌을까?”와 같은 질문에 답함으로써 의료 인공지능 모델의 편향과 인과 구조를 분석하는 중요한 도구로 활용되고 있다. 그러나 기존 방법들은 편집 대상이 아닌 인 구학적 속성까지 함께 변형되는 비의도적 수정과, 편집 과정에 대한 부족한 설명가능 성이라는 한계를 가진다. 본 논문에서는 이러한 문제를 해결하기 위해 국소 편집 기반 가정적 의료 영상 생성 모델인 InstructX2X를 제안한다. 제안하는 방법은 Region- Specific Editing을 통해 편집을 특정 부위로 국한함으로써 비의도적 변형을 억제하고, 모델이 실제로 수정한 영역을 시각적으로 보여주는 Guidance Map을 함께 제공하여 내재적 설명가능성을 확보한다. 또한 전문의 검증을 거친 의료 VQA 쌍으로부터 규칙 기반 변환을 통해 편집 지시문을 구성함으로써, 새로운 가정적 편집 데이터셋 MIMIC- EDIT-INSTRUCTION 을 구축하였다. 다양한 정량 · 정성 실험 결과, InstructX2X는 기존 대비 우수한 CMIG, KL divergence, FID 성능을 달성함과 동시에 환자 특성 보존 과 편집 과정의 해석 가능성 측면에서 유의미한 성능을 보였다. 본 연구는 고위험 의료 환경에서 신뢰할 수 있는 가정적 영상 생성과 의료 인공지능 모델 검증을 위한 새로운 기반을 제시한다.

목차 (Table of Contents)

• Abstract i
• Contents v
• List of Tables vi
• List of Figures viii
• Chapter 1 Introduction 1
• 1.1 ProblemDescription 1
• 1.2 ResearchMotivationandContribution 2
• 1.3 OrganizationoftheThesis 5
• Chapter 2 Literature Review 6
• 2.1 Diffusion Models and Text-Conditional Generation 6
• 2.2 Text-guidedimageediting 7
• 2.3 Counterfactualmedicalimagegeneration 8
• 2.4 Preliminaries 9
• 2.4.1 LatentDiffusionModels 9
• 2.4.2 InstructPix2Pix 10
• 2.4.3 MIMIC-CXRDataset 11
• 2.4.4 MIMIC-Diff-VQADataset 12
• 2.4.5 MS-CXRDataset 12
• Chapter 3 Method 13
• 3.1 MIMIC-EDIT-INSTRUCTION Construction 14
• 3.1.1 ViewFilteringandImageRegistration 15
• 3.1.2 InstructionGenerationwithMetadata 15
• 3.1.3 DatasetStatistics 16
• 3.2 Region-SpecificEditing 16
• Chapter 4 Experiment 21
• 4.1 Implementationdetails 21
• 4.2 Baselines 21
• 4.3 EvaluationMetrics 22
• 4.3.1 CMIGScore 23
• 4.3.2 KLDivergence 24
• 4.3.3 Fr ́echetInceptionDistance(FID) 24
• 4.4 Results 25
• 4.4.1 QuantitativeAnalysis 25
• 4.4.2 QualitativeAnalysis 26
• 4.5 AblationStudies 28
• Chapter 5 Conclusion 29
• 5.1 Conclusion 29
• 5.2 FutureDirection 29
• Bibliography 31
• 국문초록 42
• 감사의 글 43