Defect Generation with Inpainting Diffusion Model for Visual Inspection = 인페인팅 확산 모델을 활용한 시각 검사용 결함 생성

다국어 초록 (Multilingual Abstract)

Developing effective visual inspection models remains challenging due to the scarcity of defect data, especially in new or low-defect-rate manufacturing processes. While recent approaches have attempted to generate defect images using image generation models, producing highly realistic defects remains difficult. In this paper, we propose DefectFill, a novel method for realistic defect generation that requires only a few reference defect images. DefectFill leverages a fine-tuned inpainting diffusion model, optimized with our custom loss functions that incorporate defect, object, and attention terms. This approach enables the inpainting diffusion model to precisely capture detailed, localized defect features and seamlessly blend them into defect-free objects. Additionally, we introduce the Low-Fidelity Selection method to further enhance the quality of the generated defect samples. Experiments demonstrate that DefectFill generates high-quality defect images, and visual inspection models trained on these images achieve the best performance on the MVTec AD dataset.

국문 초록 (Abstract)

결함 데이터의 부족은 여전히 효과적인 시각 검사 모델 개발의 큰 걸림돌로 남아 있으며, 특히 신규 공정이나 불량률이 매우 낮은 제조 환경에서는 그 문제가 더욱 두드러진다. 최근에는 이미지 생성 모델을 활용해 결함 이미지를 합성하려는 시도가 이루어지고 있지만, 실제와 유사한 수준의 고품질 결함을 생성하는 일은 여전히 쉽지 않다. 본 논문에서는 소수의 참조 결함 이미지만으로도 현실감 있는 결함을 생성할 수 있는 새로운 방법인 DefectFill을 제안한다. DefectFill은 인페인팅 기반 확산 모델을 미세 조정(fine-tuning)하고, 결함 손실, 객체 손실, 어텐션 손실로 구성된 새로운 손실 함수를 통해 학습을 진행한다. 이를 통해 모델이 국소적인 결함의 세밀한 형태를 정확히 포착하는 동시에, 결함 없는 객체와 자연스럽게 어우러지도록 합성할 수 있다. 나아가, 생성된 샘플 중 과도하게 복원된 저품질 이미지를 걸러내기 위해 Low-Fidelity Selection 기법을 도입하여 전체 결함 이미지 품질을 한층 향상시킨다. 실험 결과, DefectFill은 고품질의 결함 이미지를 생성하며, 이렇게 생성된 이미지로 학습한 시각 검사 모델은 MVTec AD 데이터셋에서 기존 방법들 대비 가장 우수한 성능을 달성함을 확인하였다.

목차 (Table of Contents)

• Abstract i
• Contents ii
• List of Tables v
• List of Figures vi
• 1 Introduction 1
• 2 Background 3
• 2.1 Anomaly Generation 3
• 2.2 Personalization 4
• 3 Method 6
• 3.1 Overview 6
• 3.2 Preliminaries 7
• 3.2.1 Latent Diffusion Models 7
• 3.2.2 Inpainting Diffusion Models 7
• 3.3 Learning Defect 8
• 3.3.1 Defect Loss 8
• 3.3.2 Object Loss 10
• 3.3.3 Attention Loss 11
• 3.3.4 DefectFill Loss 11
• 3.4 Generating Defect 12
• 3.4.1 Sampling 12
• 3.4.2 Low-Fidelity Selection 12
• 3.5 Applying to Visual Inspection 13
• 4 Experimental Results 14
• 4.1 Experimental Settings 14
• 4.2 Defect Generation Evaluation 15
• 4.2.1 Qualitative Results 15
• 4.2.2 Quantitative Results 18
• 4.3 Visual Inspection Evaluation 19
• 4.3.1 Classification 19
• 4.3.2 Localization 21
• 4.4 Ablation Studies 21
• 4.4.1 Inpainting Model Ablation 21
• 4.4.2 Loss Terms Ablation 23
• 4.4.3 Low Fidelity Selection Ablation 23
• 5 Additional Experimental Results 25
• 5.1 Additional Generation Results 25
• 5.1.1 MVTec AD Dataset 25
• 5.1.2 VisA Dataset 25
• 5.2 Failure Cases 32
• 5.3 Transferring Defects across Objects 34
• 5.4 Unsupervised Inspection 34
• 6 Conclusion 36
• 6.1 Summary 36
• 6.2 Limitations 37
• 6.3 Future Works 37
• Abstract (In Korean) 46
• 감사의 글 47