Enhancing Breast Cancer Histopathology Classification via Independent and Combined GAN Based Data Augmentation and Ensemble Learning = 유방암 조직병리 영상 분류 성능 향상을 위한 독립적 및 결합형 GAN 기반 데이터 증강과 앙상블 학습 기법 연구

국문 초록 (Abstract)

유방암 조직병리 영상 분류를 위한 딥러닝 연구는 주석(annotation)이 포함된 데이터셋 의 부족과 클래스 불균형 문제로 인해 성능 향상에 한계를 가진다. 이러한 문제를 해결하기 위해, 본 연구에서는 BreakHis 데이터셋을 이용한 다중 클래스 유방암 조직병리 영상 생성 및 분류를 위한 GAN 기반 프레임워크를 제안하였다. 클래스별 합성 영상 생성을 위해 cDCGAN, cDRAGAN, cSNGAN, cSAGAN의 네 가지 조건부 GAN 구조를 구현하였으 며, 각 모델은 40×, 100×, 200×, 400×의 네 가지 배율 수준에서 학습 및 평가되었다. 생성된 영상은 Fr´echet Inception Distance(FID), Inception Score(IS), Kernel Inception Distance(KID)를 사용하여 평가하였다. 평가 결과, cSAGAN은 대부분의 배율 수준에서 가장 낮은 FID 및 KID 값과 가장 높은 IS 값을 기록하여 가장 우수한 영상 품질과 다양성을 나타냈다. 또한, cSNGAN은 영상 품질 평가 지표를 기준으로 두 번째로 우수한 성능을 보였다.
합성 데이터 증강이 분류 성능에 미치는 영향을 분석하기 위해, cSAGAN 및 cSNGAN 으로 생성된 영상들을 실제 영상 및 전통적 데이터 증강 기법으로 생성된 영상들과 다양한 비율로 조합하였다. 분류 모델로는 Swin Transformer, ConvNeXtV2, EfficientNetV2 및 앙상블 모델을 사용하였다. 실험 결과, 증강 영상과 GAN 기반 생성 영상을 균형 있게 조합한 경우 모든 배율 수준에서 분류 성능이 유의미하게 향상되었다. 실제 영상만을 사 용한 기준 실험과 비교했을 때, 최적의 데이터 증강 전략은 40×, 100×, 200×, 400× 배율 수준에서 각각 5.0%, 7.6%, 6.4%, 9.6%의 정확도 향상을 보였다. 또한, 최적의 데이터 조합 비율은 배율 수준에 따라 서로 다르게 나타났다. 전체 실험 중 가장 높은 분류 성능은 앙상블 모델에서 나타났으며, 40× 배율 수준에서 94.4%의 정확도를 달성하였다. 더 나아가, 최적의 실험 구성에서는 모든 배율 수준에서 정확도(Accuracy), 정밀도(Precision), 재현율 (Recall), F1-score가 모두 90.2% 이상을 기록하였으며, 이는 전통적 증강 기법과 cSAGAN 및 cSNGAN 생성 영상을 통합한 접근 방식이 다중 클래스 유방암 조직병리 영상 분류에 효과적이고 강건함을 보여준다.
주제어: 유방암 조직병리; 조직병리 영상 분류; 조건부 생성적 적대 신경망; 데이터 증강; 딥러닝; 앙상블 학습; BreakHis 데이터셋; 합성 영상 생성

다국어 초록 (Multilingual Abstract)

Breast cancer histopathological image classification using deep learning is often limited by insufficient and imbalanced annotated datasets. To address these challenges, this study proposes a GAN-based framework for multi-class breast cancer histopathological image generation and classification using the BreakHis Dataset. Four conditional GAN architectures, namely cDCGAN, cDRAGAN, cSNGAN, and cSAGAN, were implemented to generate class-specific synthetic images across four magnification levels (40×, 100×, 200×, and 400×). The generated images were evaluated using Fr´echet Inception Distance (FID), Inception Score (IS), and Kernel Inception Distance (KID). Among the evaluated models, cSAGAN achieved the best image generation performance, obtaining the lowest FID and KID values and the highest IS across most magnification levels, indicating superior image quality and diversity. cSNGAN demonstrated the second-best overall performance based on the image quality evaluation metrics.
To investigate the impact of synthetic data augmentation on classification performance, cSAGAN-generated and cSNGAN-generated images were integrated with real and traditionally augmented images under multiple composition ratios. Swin Transformer, ConvNeXtV2, EfficientNetV2, and an ensemble model were employed for classification. Experimental results demonstrated that balanced combinations of augmented and GAN-generated images improved classification performance across all magnification levels. Compared with the real-image baseline experiments, the best performing augmentation strategies improved classification accuracy by 5.0%, 7.6%, 6.4%, and 9.6% at 40×, 100×, 200×, and 400× magnification levels, respectively. The optimal data composition differed depending on the magnification level. The highest overall classification performance was achieved by the ensemble model, reaching 94.4% accuracy at the 40× magnification level. Furthermore, the best-performing experimental configurations achieved accuracy, precision, recall, and F1-score values above 90.2% across all magnification levels, demonstrating the effectiveness and robustness of integrating augmented, cSAGAN-generated, and cSNGAN-generated images for multi-class breast cancer histopathological image classification.
Key words: Breast cancer histopathology; Histopathological image classification; Conditional GAN; Data augmentation; Deep learning; Ensemble learning; BreakHis dataset; Synthetic image generation.

목차 (Table of Contents)

• Chapter 1 Introduction 1
• Chapter 2 Related Works 4
• Chapter 3 Materials and Methods 8
• 3.1 Dataset 8
• 3.2 Dataset Preprocessing 9
• 3.3 Experimental Environment 9
• 3.4 Synthetic Image Generation 10
• 3.4.1 cDCGAN 10
• 3.4.2 cDRAGAN 12
• 3.4.3 cSNGAN 13
• 3.4.4 cSAGAN 14
• 3.5 Evaluation Metrics for Generated Images 15
• 3.6 Overview of Deep Learning Models for Image Classification 18
• 3.7 Evaluation Metrics for Classification 20
• Chapter 4 Results 22
• 4.1 GAN Experiment and Evaluation Results 22
• 4.2 Classification Experiment and Evaluation Results 25
• 4.2.1 Baseline Experiments 27
• 4.2.1.1 Classification Performance on Real images 27
• 4.2.1.2 Classification Performance using Traditional Augmentation 28
• 4.2.2 Single-GAN Augmentation Experiments 30
• 4.2.2.1 cSAGAN Classification Performance 30
• 4.2.2.2 Classification Performance using Real Images and cSAGAN-generated Images 33
• 4.2.2.3 Classification Performance using Real Images, Traditional Augmentation and cSAGAN-generated Images 34
• 4.2.2.4 Classification Performance using Real Images, Traditional Augmentation, and cSNGAN-generated Images 37
• 4.2.3 Multi-GAN Augmentation Experiments 41
• 4.2.3.1 Classification Performance using Real Images, Traditional Augmentation, cSAGAN and cSNGAN-generated Images 41
• 4.3 Discussion 46
• Chapter 5 Conclusion 54
• Appendix 57
• Reference 68