Development of StyleSPADE for Realistic Crack Image Augmentation and Ensemble Segmentation = 현실적인 균열 이미지 증강을 위한 StyleSPADE개발 및 앙상블 세그멘테이션

국문 초록 (Abstract)

전 세계적으로 사회기반시설의 노후화가 진행됨에 따라 균열의 조기 탐지는 구조물 안전성 확보를 위한 시급한 과제로 부상하고 있다. 딥러닝 기반 균열 탐지는 높은 정확도를 보이지만 대규모 라벨링 데이터를 요구하며, 균열의 불규칙한 형태와 다양한 배경 조건으로 인해 데이터 수집 및 라벨링은 노동집약적이고 고비용이 수반된다. 최근 GAN 기반 이미지 생성 기법이 데이터 부족 문제 완화에 기여하고 있으며, 특히 시맨틱 마스크를 조건으로 활용하는 조건부 이미지 생성 방식이 주목받고 있다. 그러나 기존 조건부 이미지 생성 모델을 균열 이미지 합성에 직접 적용할 경우 마스크 경계의 노이즈 및 왜곡, 단조로운 배경 생성, 정밀한 균열 형태 보존의 어려움 등의 한계가 존재한다. 이러한 문제를 해결하기 위해 본 연구는 SPADE의 공간 적응형 정규화 메커니즘에 스타일 이미지 입력을 통합한 StyleSPADE를 제안하였으며, 이를 통해 다양한 배경 질감과 색상을 반영하면서도 명확한 균열 구조를 유지하는 현실적인 합성 이미지를 생성할 수 있었다. 세그멘테이션 성능 평가 결과, StyleSPADE 기반 증강은 SPADE 및 SemanticStyleGAN 대비 우수한 성능을 보였으며, Crack IoU 0.6376, F1 Score 0.7586을 달성하였다. 또한 다양한 세그멘테이션 모델과 백본 조합을 비교 분석한 결과 K-Net+UPerNet/Swin-L 조합에서 최고 성능을 기록하였으며, Recall 중심 모델과 Preci-sion 중심 모델을 결합하는 Stacking Ensemble 전략을 통해 미탐과 과탐을 동시에 완화하여 Crack IoU 0.6452, F1 Score 0.7668로 성능을 더욱 향상시켰다. 본 연구는 제한된 데이터 환경에서도 효과적인 균열 탐지를 위한 실용적인 증강 기법과 모델 최적화 전략을 제시한다.

목차 (Table of Contents)

• 1. Introduction 1
• 2. Material and Method 7
• 2.1. Dataset 7
• 2.1.1. Crack Segmentation Dataset(Kaggle) 10
• 2.1.2. Crack-Seg Dataset(Ultralytics) 14
• 2.1.3. Augmentation and Duplication Filtering of Crack Masks 16
• 2.2. Data Augmentation with Conditional Image Generation Model 18
• 2.2.1.SPADE and StyleSPADE 20
• 2.2.2.SemanticStyleGAN 23
• 2.2.3.ControlNet 26
• 2.3. Crack Segmenation Model 29
• 2.3.1.Mask2Former 31
• 2.3.2.Swin-UPerNet 33
• 2.3.3.K-Net 34
• 2.4. Segmentation Model Training 36
• 2.5. Segmentation Model Ensemble 38
• 2.6. Segmentation Model Evaluation 39
• 3. Results and Discussion 42
• 3.1. Comparison of Conditional Image Generation Models 42
• 3.1.1. Visual Comparison between SPADE and StyleSPADE 43
• 3.1.2. Visual Comparison of Conditional Image Generation Models 45
• 3.1.3. Assesing the Effectiveness of Conditional Image Generation Models through Segmentation Tasks 49
• 3.2. Performance Comparision of Segmentation Models with Different Backbones and Ensemble Strategy 56
• 4. Conclusions 60
• 5. Reference 63
• 6. English Abstract 69