A Combined Twin and Single Network for Fast and Robust Inspection of IC Substrates

국문 초록 (Abstract)

최근 반도체는 인공 지능과 차량용 반도체 등 다양한 산업 분야에서 폭넓게 적용되며, 수요 증가와 성능 고도화를 위한 고정밀 패키징 기술이 요구되고 있다. 반도체 제품은 매우 작은 불량도 성능을 크게 저하시킬 수 있으므로 품질 신뢰성 보장을 위해 고도화된 품질 검사 네트워크가 필수적이다. 반도체 기판 (IC substrate) 불량 검사는 입력 영상 안에 동일한 패턴의 칩이 반복되어 있는 특징을 활용하여 기준 영상과 검사 영상을 비교하는 방법을 사용할 수 있다. 그러나 이 방법은 조명 차이와 같은 의도치 않은 변화(pseudo change)나 및 정합 오차에 취약하여 과검출이 발생할 확률이 높다는 단점이 있다. 이를 해결하기 위해 어텐션 모듈을 활용한 방법들이 제시되었으나, 이러한 모듈은 많은 연산량과 메모리가 요구되어 실제 양산 과정에 적용하기 어려움이 있었다. 따라서 본 논문에서는 IC substrate 검사를 위해 정합 오차 및 pseudo change에 강인하면서도 계산 시간을 최소화할 수 있는 딥러닝 기반 네트워크 C-TSNet (Combined-Twin and Single Network) 을 제안한다. C-TSNet은 영상 간 패턴 비교를 통한 불량 검출 방법과 단일 영상 불량 검출 네트워크를 결합하여 어텐션 모듈을 활용하지 않으면서도 비교 과정에서의 과검출을 최소화한다. 또한, 색상 변화에 보다 강인한 네트워크를 위해 연산 시간에 큰 영향을 주지 않는 채널 어텐션 모듈을 추가한 검사 방법을 제안한다. 실험 결과, 제안된 방법은 기존 방법 대비 검사 성능을 향상시킬 뿐 아니라 빠른 추론 속도를 보여 실제 제조 공정에서 더욱 효과적으로 활용될 수 있을 것이라 기대한다.

다국어 초록 (Multilingual Abstract)

This thesis explores a novel approach to inspecting IC substrates by integrating twin and single network architectures for fast and accurate defect detection. For inspecting IC substrates, the repetitive nature of the substrates allows comparison-based inspection approaches that detect changed regions between test and reference images. One deep learning-based approach for change detection is the twin network structure, which processes two inputs using two identical encoders to extract features consistently, and then compares these features to identify changes. However, the twin network is vulnerable to errors caused by pseudo changes and mis-registration, which complicates the detection of micro defects crucial for accurate inspections. To address these challenges, this research proposes a hybrid approach of Combined Twin and Single Network (abbreviated by C-TSNet). We incorporate a single network that is not affected by misalignments and color variations with a twin network, the proposed network achieves robustness to mis-registration while maintaining low computational latency. Additionally, we introduce CC-TSNet, which is extended version of C-TSNet by adding a channel co-attention module to further improve robustness against characteristic differences. The proposed methods were validated on a real-world IC substrate dataset, showing significantly better performance compared to traditional deep-learning approaches such as U-Net and Base-Twin network. The integration of the channel co-attention module improved the system's ability to handle pseudo-changes due to characteristic differences, as resulting in higher F1-scores and reduced false positives. Moreover, the proposed methods achieved accuracy comparable to the module-based method but with only one-third of computational latency, making them highly suitable for real-time manufacturing processes. Overall, this thesis presents a comprehensive solution for IC substrate inspection, combining the strengths of both twin and single network architecture to deliver fast, accurate, and robust defect detection.

목차 (Table of Contents)

• I. Introduction 1
• II. Related works 5
• A. Deep learning-based inspection 5
• B. Twin network architecture 6
• C. Twin network-based change detection methods 7
• D. Twin network-based inspection methods 9
• III. Proposed method 11
• A. C-TSNet 11
• B. CC-TSNet 14
• C. Loss function 17
• IV. Experimental results 18
• A. Dataset 18
• B. Implementation details 20
• C. Performance metrics 21
• D. Experimental results 22
• V. Conclusion 32
• Bibliography 33
• Abstract (in Korean) 40