Deep learning-based machine vision with limited data

다국어 초록 (Multilingual Abstract)

Deep learning approaches, represented by convolutional neural network (CNN), have achieved outstanding performance in machine vision tasks. However, their practical employment is often constrained by real-world data limitations such as incomplete labels and image distortions. This dissertation proposes effective learning strategies to enhance the performance and robustness of CNNs under three representative limited data scenarios in machine vision including partially labeled training datasets, weakly labeled training datasets, and distorted query images.
First, we propose a domain-aware semi-supervised representation learning method for image analysis. Existing methods typically assume either fully labeled or entirely unlabeled datasets, making them less practical in scenarios where only a subset of instances is labeled. To address this for wafer map analysis, our method combines labeled and unlabeled wafer maps for representation learning while enforcing rotational invariance constraints.
Second, we present a weakly supervised learning method for detecting defective cells (fine-grained) using only module-level (coarse-grained) annotations, significantly reducing the annotation costs compared to traditional cell-level annotation. The method is based on the assumption that all cells in a normal module are non-defective, whereas at least one defective cell exists in a defective module. By leveraging this weak supervision, accurate cell-level defect detection can be achieved without fine-grained annotations.
Third, we develop a distortion-robust training method for CNNs that enables robust classification under image distortions. Instead of preprocessing or retraining with augmented data, our method incorporates consistency regularization into the supervised learning objective, encouraging the CNN to produce consistent predictions across distorted variants of an image.
The effectiveness of the proposed methods was demonstrated through experimental evaluations adapted to the specific challenges of each application domain, highlighting their applicability and potential to enhance machine vision-based automation in real-world industrial environments where access to high-quality data is limited.

국문 초록 (Abstract)

딥러닝, 특히 합성곱 신경망을 기반으로 한 접근법은 머신 비전 분야에서 뛰어난 성능을 보여왔다. 그러나 실제 환경에서는 불완전한 레이블 정보나 이미지 왜곡과 같은 다양한 데이터 제약으로 인해 이러한 모델의 실질적인 적용에 한계가 존재한다. 본 학위논문에서는 머신 비전에서 흔히 발생하는 세 가지 대표적인 데이터 제약 상황인 부분적으로 레이블링된 학습 데이터셋, 대분류로 레이블링된 학습 데이터셋, 왜곡된 쿼리 이미지에 대응하기 위한 효과적인 학습 전략을 제안한다.
첫째, 이미지 분석을 위해 도메인 특성을 추가한 준지도 표현 학습 기법을 제안한다. 기존의 표현 학습 기법들은 완전히 레이블링된 데이터 또는 전혀 레이블되지 않은 데이터만을 가정하는 경우가 많아, 일부만 레이블이 있는 데이터셋 환경에서는 온전히 정보를 활용할 수 없다. 본 연구에서는 웨이퍼 맵 분석을 위해 레이블이 있는 웨이퍼 맵과 레이블이 없는 웨이퍼 맵을 함께 활용하여 표현을 학습하고, 표현 학습에 회전 불변성 제약을 적용함으로써 시각화, 클러스터링, 검색, 분류와 같은 후속 과업에서 더 효과적인 표현 학습을 가능하게 하였다.
둘째, 모듈 단위(대분류) 레이블만을 활용하여 셀 단위(세부) 결함을 탐지하는 약지도 학습 방법을 제안한다. 제안 방법은 정상 모듈의 모든 셀은 정상이며, 불량 모듈에는 최소 하나 이상의 결함 셀이 존재한다는 가정에 기반한다. 이를 통해 고비용의 구체적인 레이블링 없이도 셀 단위 결함을 정확하게 예측할 수 있다.
셋째, 이미지 왜곡 하에서도 강건한 분류가 가능하도록 합성곱 신경망을 학습시키는 일관성 정규화 기반 왜곡 강건 학습 기법을 제안한다. 기존의 왜곡 보정이나 증대 기반 접근 방식과 달리, 제안 방법에서는 일관성 정규화를 지도학습 목적 함수에 추가하여, 원본 이미지와 왜곡 이미지 간 예측의 일관성을 유지하도록 유도하였다.
제안 방법은 각각의 제약 조건에 맞춘 실험을 통해 그 효과가 실증되었으며, 이는 고품질 데이터 확보가 어려운 실제 산업 현장에서도 효율적인 머신 비전 적용을 통한 효율성 개선을 기대한다.

목차 (Table of Contents)

• Chapter 1 Introduction 1
• 1.1 Deep Learning-Based Machine Vision 1
• 1.2 Deep Learning-Based Machine Vision Under Data Limitations 2
• 1.3 Outlook of this Dissertation 5
• Chapter 2 Literature Review 8
• 2.1 Learning with Partially Labeled Training Datasets 8
• 2.2 Learning with Weakly Labeled Training Datasets 11
• 2.3 Enhancing Prediction Robustness to Distorted Images 12
• Chapter 3 Semi-Supervised Representation Learning for Partially Labeled Training Datasets 16
• 3.1 Wafer Map Pattern Analysis in Semiconductor Manufacturing 16
• 3.2 Problem Definition: Semi-Supervised Representation Learning of Wafer Map Defect Patterns 18
• 3.3 Rotation-Invariant Semi-Supervised Representation Learning 19
• 3.4 Experiments 24
• 3.5 Results and Discussion 32
• 3.6 Summary 38
• Chapter 4 Weakly Supervised Learning for Weakly Labeled Training Datasets 41
• 4.1 Photovoltaic Cell Defect Detection 41
• 4.2 Problem Definition: Automation of Photovoltaic Cell Defect Detection 44
• 4.3 Weakly Supervised Learning with Module-Level Annotations 44
• 4.4 Experiments 49
• 4.5 Results and Discussion 53
• 4.6 Summary 60
• Chapter 5 Consistency Regularization for Robust Prediction on Distorted Images 62
• 5.1 Image Classification under Distortions 62
• 5.2 Problem Definition: Distortion-Robust Image Classification 64
• 5.3 Consistency Regularization for Distortion-Robust Supervised Learning 65
• 5.4 Experiments 68
• 5.5 Results and Discussion 74
• 5.6 Summary 77
• Chapter 6 Conclusion 89
• 6.1 Contributions 89
• 6.2 Future Work 92
• References 94
• 논문요약 111