Optimizing Skin Cancer Classification via Guided Fusion Auxiliary Classifier Generative Adversarial Network: A Hybrid Data Augmentation Approach with Ratio Based Evaluation on HAM10000 = 가이드 융합 보조 분류기 생성적 적대 신경망을 통한 피부암 분류 최적화: HAM10000에서 비율 기반 평가를 적용한 하이브리드 데이터 증강 접근법

다국어 초록 (Multilingual Abstract)

Dermoscopy-based skin lesion analysis is an important computer-aided diagnosis task because early identification of malignant lesions can support timely clinical intervention. However, deep learning models trained on dermoscopic images are often affected by class imbalance, particularly when benign melanocytic nevi dominate the training distribution while clinically important minority categories are underrepresented. This thesis addresses this problem using generative data augmentation for the HAM10000 skin lesion dataset. The study proposes Guided Fusion Auxiliary Classifier GAN (GF-ACGAN), an inpainting-guided class-conditional generative framework for dermoscopic image synthesis. GF-ACGAN combines a binary lesion mask and an inpainted dermoscopic image through channel-wise guided fusion, while an auxiliary classifier discriminator encourages class-consistent image generation. The proposed generator is compared with five baseline GAN configurations: Vanilla GAN, Conditional Wasserstein GAN with Gradient Penalty and FFT loss, FastGAN, LightweightGAN, and Auxiliary Classifier GAN. The resulting synthetic images are then used in downstream skin lesion classification experiments.
Experiments are conducted on HAM10000 across seven lesion categories: melanocytic nevus, melanoma, benign keratosis-like lesion, basal cell carcinoma, actinic keratosis/intraepithelial carcinoma, vascular lesion, and dermatofibroma. Image synthesis quality is evaluated using Fréchet Inception Distance, Kernel Inception Distance, Inception Score, and Structural Similarity Index. The experimental results identify GF-ACGAN as the strongest synthesis model in terms of FID, KID, and SSIM, achieving FID = 70.08, KID = 0.0351, and SSIM = 0.684. Downstream classification is evaluated using EfficientNetV2-M, SwinV2-Base, ResNet50, and ConvNeXtV2-Base under both image-wise and lesion-wise splitting protocols, with performance measured on a held-out fixed test set using test accuracy, balanced accuracy, macro precision, and macro F1. The classification results show that hybrid augmentation using traditional transformations and GF-ACGAN synthetic images is more effective than using real-only data or GAN-only augmentation in most settings. Under the image-wise split, SwinV2-Base achieves the best macro F1 score of 0.894 using a 75:25 traditional augmentation to GAN ratio. Under the stricter lesion-wise split, SwinV2-Base achieves the best macro F1 score of 0.832 using a 50:50 ratio. EfficientNetV2-M, ResNet50, and ConvNeXtV2-Base also show improvement over their Real- only baselines under the selected hybrid settings. These findings indicate that guided synthetic augmentation can improve model generalization under the evaluated settings for imbalanced dermoscopic classification when synthetic images are combined with traditional augmentation rather than used as a complete replacement.
Keywords: skin lesion classification, dermoscopy, HAM10000, class imbalance, GAN, ACGAN, GF-ACGAN, synthetic augmentation, inpainting, deep learning.

국문 초록 (Abstract)

피부 병변의 더모스코피 기반 분석은 악성 병변을 조기에 식별하여 적절한 임상적 개입을 지원할 수 있다는 점에서 중요한 컴퓨터 보조 진단 과제이다. 그러나 더모스코피 영상으로 학습된 딥러닝 모델은 클래스 불균형의 영향을 받기 쉽다. 특히 양성 멜라닌세포 모반이 학습 데이터 분포에서 큰 비중을 차지하는 반면, 임상적으로 중요한 소수 병변 클래스는 상대적으로 적은 수의 영상만 포함되는 문제가 있다. 본 논문은 HAM10000 피부 병변 데이터셋을 대상으로 생성 기반 데이터 증강을 활용하여 이러한 클래스 불균형 문제를 해결하고자 하였다.
본 연구에서는 더모스코피 영상 합성을 위한 인페인팅 기반 클래스 조건부 생성 프레임워크인 Guided Fusion Auxiliary Classifier GAN(GF-ACGAN)을 제안하였다. GF-ACGAN은 이진 병변 마스크와 인페인팅된 더모스코피 영상을 채널 방향 guided fusion 방식으로 결합하며, 보조 분류기 판별자를 통해 클래스 일관성을 갖는 영상 생성을 유도한다. 제안한 생성 모델은 Vanilla GAN, Conditional Wasserstein GAN with Gradient Penalty and FFT loss, FastGAN, LightweightGAN, Auxiliary Classifier GAN의 다섯 가지 기준 GAN 모델과 비교되었다. 이후 선택된 생성 모델로부터 생성된 합성 영상은 피부 병변 분류를 위한 다운스트림 실험에 활용되었다.
실험은 HAM10000 데이터셋의 일곱 가지 병변 클래스인 멜라닌세포 모반, 흑 색종, 양성 각화증 유사 병변, 기저세포암, 광선각화증 및 상피내암, 혈관 병변, 피 부섬유종을 대상으로 수행되었다. 영상 합성 품질은 Fréchet Inception Distance (FID), Kernel Inception Distance (KID), Inception Score (IS), Structural Similarity Index Measure (SSIM)를 사용하여 평가하였다. 실험 결과, GF-ACGAN은 FID = 70.08, KID = 0.0351, SSIM = 0.684를 달성하여 FID, KID, SSIM 기준에서 가장 우수한 합성 성능을 보였다. 다운스트림 분류 성능은 EfficientNetV2-M, SwinV2-Base, ResNet50, ConvNeXtV2-Base를 사용하여 image-wise 및 lesion-wise 분할 프로토콜에서 평가되었으며, 평가 지표로는 테스트 정확도, balanced accuracy, macro precision, macro F1을 사용하였다.
분류 실험 결과, 전통적 영상 증강과 GF-ACGAN 기반 합성 영상을 함께 사용하는 하이브리드 증강 전략이 대부분의 설정에서 real-only 학습 또는 GAN-only 증강보다 효과적인 것으로 나타났다. Image-wise 분할에서는 SwinV2-Base가 전통적 증강과 GAN 증강의 비율을 75:25로 설정했을 때 가장 높은 macro F1 점수인 0.894를 달성하였다. 보다 엄격한 lesion-wise 분할에서는 SwinV2-Base가 50:50 비율에서 가장 높은 macro F1 점수인 0.832를 달성하였다. 또한 EfficientNetV2-M, ResNet50, ConvNeXtV2-Base 역시 선택된 하이브리드 증강 설정에서 real-only 기준선보다 향상된 성능을 보였다. 이러한 결과는 합성 영상을 전통적 증강의 완전한 대체물로 사용하는 것보다, 전통적 증강과 함께 결 합하여 사용할 때 불균형 더모스코피 분류에서 모델의 일반화 성능을 향상시킬 수 있음을 보여준다.
키워드: 피부 병변 분류, 더모스코피, HAM10000, 클래스 불균형, GAN, ACGAN, GF-ACGAN, 합성 데이터 증강, 인페인팅, 딥러

목차 (Table of Contents)

• 1 Introduction 1
• 1.1 Background 1
• 1.2 Problem Statement 2
• 1.3 Motivation for Guided Fusion 4
• 1.4 Aim and Objectives 5
• 1.5 Research Questions 5
• 1.6 Contributions 6
• 1.7 Scope and Limitations 7
• 1.8 Thesis Organization 7
• 2 Related Work and Theoretical Background 9
• 2.1 Data Augmentation and Class Imbalance in Medical Imaging 9
• 2.2 HAM10000 Dataset Characteristics 10
• 2.3 Generative Adversarial Networks 12
• 2.4 Conditional GAN Synthesis and Mask-Based Approaches 14
• 2.5 Inpainting-Based Generative Methods 15
• 2.6 Multi-Input Conditional Generation 16
• 2.7 GAN-Based Skin Lesion Synthesis 17
• 2.8 GAN Models Used in This Study 17
• 2.8.1 Vanilla GAN 18
• 2.8.2 CWGAN-GP with FFT loss 19
• 2.8.3 FastGAN 19
• 2.8.4 LightweightGAN 19
• 2.8.5 ACGAN 20
• 2.8.6 Proposed GF-ACGAN 20
• 2.9 Synthetic Image Evaluation Metrics 21
• 2.9.1 Frchet Inception Distance 21
• 2.9.2 Kernel Inception Distance 22
• 2.9.3 Inception Score 23
• 2.9.4 Structural Similarity Index Measure 24
• 2.10 Classification Models 26
• 2.10.1 EfficientNetV2-M 26
• 2.10.2 ResNet50 27
• 2.10.3 ConvNeXtV2-Base 28
• 2.10.4 SwinV2-Base 28
• 2.11 Classification Metrics 29
• 2.11.1 Classification Metrics 29
• 2.11.2 Test Accuracy 30
• 2.11.3 Balanced Accuracy 31
• 2.11.4 Macro Precision 31
• 2.11.5 Macro F1 Score 32
• 2.11.6 Confusion Matrix 33
• 2.12 Research Gap 33
• 3 Methodology 34
• 3.1 Overall Research Design 34
• 3.2 Proposed GF-ACGAN Methodology 35
• 3.2.1 Dataset Preparation 35
• 3.2.2 Preprocessing 36
• 3.2.3 Binary Mask Generation 37
• 3.2.4 Inpainted Image Generation 38
• 3.2.5 GF-ACGAN Architecture 38
• 3.2.6 Guided Fusion Layer 40
• 3.2.7 Generator Design 41
• 3.2.8 Discriminator Design 42
• 3.2.9 Loss Functions 43
• 3.2.10 Dataset Balancing and Split Strategy 44
• 3.2.11 Computational Setup 45
• 3.2.12 Training Configuration 46
• 3.2.13 EMA Generator and Final Model Selection 48
• 3.3 Classification Evaluation Methodology 49
• 3.3.1 Synthetic Data Construction 49
• 3.3.2 Split Protocols 50
• 3.3.3 Classification Training Protocol 50
• 3.3.4 Experimental Conditions 52
• 3.4 Reproducibility Measures 52
• 3.5 Ethical and Clinical Considerations 53
• 4 Experimental Results and Analysis 54
• 4.1 Experimental Environment 54
• 4.2 GAN Synthesis Quality Results 54
• 4.3 Baseline Image-Wise Classification Results 59
• 4.4 Baseline Lesion-Wise Classification Results 62
• 4.5 Image-Wise Ratio Study 64
• 4.6 Lesion-Wise Ratio Study 66
• 4.7 Best-Ratio Summary 69
• 4.8 Confusion Matrix Analysis 72
• 4.9 Split Comparison 74
• 4.10 Model-Specific Analysis 75
• 4.11 Interpretation of GAN-Only Versus Hybrid Results 76
• 4.12 Summary of Experimental Findings 77
• 5 Discussion 79
• 5.1 Overview 79
• 5.2 Interpretation of Guided Fusion Synthesis 79
• 5.3 Hybrid Augmentation and Class Imbalance 80
• 5.4 Generalization Across Splits and Architectures 81
• 5.5 Comparison with Prior HAM10000 Classification Studies 82
• 5.6 Practical and Clinical Implications 85
• 5.7 Threats to Validity 86
• 5.8 Summary 87
• 6 Conclusion and Future Work 88
• 6.1 Summary of the Study 88
• 6.2 Main Conclusions 89
• 6.3 Future Work 90
• 6.4 Final Statement 91
• [References] 93