(A) deep learning approach to detecting surface defects of smartphone glass

국문 초록 (Abstract)

실제 산업현장의 비전 검사 분야에서는 여러가지 제약조건으로 인해 초기 공정 구성이나 제조공정이 생산모델에 따라 변경되었을 경우 분류기를 학습하기 위한 이미지 데이터 확보가 난해하며, 또한 제한된 광학 검사 장치의 영상 획득으로 인해 학습 모델을 추론할 때 다양한 응용 환경의 변화에 대응하기 어렵다. 여러 분류를 위한 딥러닝 모델 중 오토 인코더는 사용 가능한 정상 제품의 데이터만을 활용하여 학습가능한 모델을 개발하기 위해 채택되었지만 임계 값을 적절하게 설정하고 결함 유형의 변화로 인한 불확실성을 처리하는 데 몇 가지 제한이 발생한다.
본 논문에서는 제한된 데이터로 재구성된 영상의 결함 크기, 발생률, 위치, 음영 차이에 따른 임계값 설정의 불확실성에 대처하기 위해 컨볼루션 오토 인코더를 제안한다. 이 모델은 종단 간 학습을 통해 임계값을 자동으로 결정하고, Bernoulli의 변이 추론에 의해 최적화 된 드롭 아웃 앙상블을 사용하여 재구성 된 이미지의 픽셀 수준 불확실성을 처리한다. 또한 약-학습 모델 앙상블의 효과 분석을 위해 불확실성 맵을 계산하여하여 서로 다른 노이즈를 가질뿐만 아니라 각 검사 광학 시스템에서 발생하는 획득 이미지의 차이를 보상합니다. 여기에 더해서 제한된 이미지 획득으로 인한 입력과 추론의 분산을 처리하기 위해 두 가지 분류를 가지는 입력 확장 기술을 제안한다.
삼성 베트남 공장에서 획득한 제품 이미지 28,995개를 학습하여 실험한 우리의 제안된 모델이 97.09%의 정확도와 96.64%의 재현율을 달성했음을 확인하였고, 이를 바탕으로 제안된 두 가지 입력 확장 기법을 통해 모델의 정확도가 향상되었음을 확인하였다. 재구성된 이미지의 픽셀 수준 불확실성은 불확실성 맵으로 분석된다. 이를 통해 선행연구의 재구성 모델에 비해 정확도가 2.09% 향상되고 재현율이 5.77% 향상된 약 학습 모델의 앙상블 규칙을 구성하였다. 실험에서 우리는 10 겹 교차 검증 및 카이 제곱 결과를 통해 다른 선행 연구결과와 비교하여 제안된 모델의 강건성을 검증한다. 또한 잠재 특징 공간을 시각화하여 클래스 간 압축 벡터를 클러스터링하여 모델을 정성적으로 분석하였다.

다국어 초록 (Multilingual Abstract)

In the on-the-spot industrial field of vision inspection, securing image data is difficult for learning classifiers when the manufacturing process changes, as well as during the initial setup of the process. In addition, it is difficult to respond to changes in various application environments when inferring a learning model due to image acquisition from a limited optical inspection device. Among several models, autoencoder has been adopted to develop the inspector from available normal products only, but it has several limitations to set the threshold appropriately and handle the uncertainties caused by the changes in the type of defects.
In this paper, we propose a Bayesian convolutional autoencoder to cope with the uncertainty of setting the threshold according to the defect size, occurrence rate, location, and shading difference of reconstructed images with limited data. This model determines the threshold automatically through end-to-end learning and handles the pixel-level uncertainty of the reconstructed image with a drop-out ensemble, which is optimized by Bernoulli's variational inference. In addition, by using an uncertainty map for the effect analysis of the ensemble of weak learning models, not only have different noises, but also the differences in acquired images that occur for each inspection optical system are compensated. In addition, we propose two classification augmentation techniques to handle the variance in input resulting from limited image acquisition.
Experiments with 28,995 product images from Samsung’s Vietnam plant confirm that the proposed model achieves accuracy of 97.09% and recall of 96.64%. Based on this, it was confirmed that the accuracy of the model was improved by the two proposed Augmentation techniques. The pixel-level uncertainty of reconstructed images is also analyzed with uncertainty maps. Through this process, we were able to find the ensemble rule of weak-learning model, which improved accuracy by 2.09% and recall by 5.77% compared to other reconstruction models. Comparison with the state-of-the art models in 10-fold cross-validation and chi-square highlights the superiority of the proposed model. Moreover, the model is qualitatively analyzed through clustering compression vectors between classes by visualizing the embedded feature space.