심층강화학습을 이용한 반도체 다이접착공정의 최적화 = Optimization of die-attach process of semiconductor by deep reinforcement learning

국문 초록 (Abstract)

반도체 제조에서 다이접착공정에서는 양품으로 분류된 웨이퍼의 칩들을 리드프레임으로 옮기는데, 로봇 팔이 칩을 들어 올려 리드프레임의 특정 위치에 내려놓는 행동이 반복된다. 이 공정은 반도체 공정의 전체 생산성 향상을 위해 매우 중요하므로 웨이퍼와 리드프레임을 오고가는 로봇 팔의 이동경로를 효율적으로 탐색하는 방법이 필요하다.
기존에는 특정한 규칙을 설정하고 그 규칙에 따라 로봇 팔이 움직임으로써 칩들을 옮기는 규칙 기반의 방법을 적용하고 있다. 그러나 이 방법은 로봇 팔의 움직임이 중복되어 효율적이지 못하다. 이 방법의 단점을 극복하고자 하는 휴리스틱 기반의 방법들은 불량 칩들의 분포에 따라 각 상황에 맞는 알고리즘을 재설계해야 하는 단점이 있다.
이 연구에서는 심층강화학습 중 심층 Q-네트워크를 적용하여 접착 공정의 로봇 팔이 적절한 이동 경로에 따라 움직일 수 있는 탐색 및 학습 방법을 제안한다. 이 방법은 상태에 따른 행동 값인 Q 값을 Q-표로 구성하여 계산하는 기존 Q–러닝 강화학습 방법에서 더 나아가 신경망을 통해 Q값을 학습한다.
제안하는 방법은 먼저 웨이퍼와 리드프레임의 이동을 결정하는 두 거리결정지수와 ε-탐욕정책의 거리 선택 기준에 따라 웨이퍼와 리드프레임의 이동 경로를 탐색한다. 탐색이 끝난 후에는 더 짧은 이동거리를 갖는 이동 경로를 위해 다층신경망의 심층 Q-네트워크를 이용하여 두 거리결정지수에 대한 학습을 진행한다. 심층 Q-네트워크는 벨만 방정식을 통해 총 이동거리에 해당하는 Q 값을 작게 하는 방향으로 학습을 진행하며, 학습이 진행되면서 각 거리에 대한 거리결정지수 값이 갱신된다.
양품 웨이퍼에 대한 이동경로 탐색과 이동거리 최소화 방법의 학습이 완료된 심층 Q-네트워크 기반 프레임워크를 불량 칩을 가진 네 웨이퍼에 적용하고, 제안 방법과 기존의 연구 방법들에 대해 로봇 팔의 총 이동거리를 비교하여 제안 방법의 성능이 우수함을 확인하였다.
제안 방법은 Q-러닝 학습에 다층신경망 학습 방법을 결합한 심층 Q-네트워크 방법을 적용하여 로봇 팔이 움직인 거리에 따른 보상을 반환함으로서 더 효율적인 이동 거리 탐색이 가능하다. 또한 이전 연구에서 지적되었던 일반화 능력의 부재를 극복하였고 계산양이 많아서 속도가 느리고 연산이 다소 부정확하던 Q-러닝의 한계점을 일부 해결하였다.

목차 (Table of Contents)

• 그림 목차 iii
• 표 목차 iv
• 국문 요지 v
• 제1장 서론 1
• 1.1 연구 배경 1
• 1.2 연구 목적 3
• 1.3 기존 연구 고찰 5
• 1.4 논문의 구성 7
• 제2장 심층강화학습과 다이접착공정 8
• 2.1 강화학습 8
• 2.2 심층강화학습과 심층 Q-네트워크 10
• 2.3 다이접착공정 12
• 2.4 기호 정의 14
• 제3장 최적 경로 탐색과 학습 17
• 3.1 제안 방법의 프레임워크 17
• 3.2 경로 탐색 19
• 3.3 심층 Q-네트워크의 학습 24
• 3.4 순서도 25
• 제4장 수치 예제 28
• 4.1 예제 28
• 4.2 문제 해결 과정 29
• 제5장 실험 41
• 5.1 실험 설계 41
• 5.2 실험 결과의 비교 44
• 제6장 결론 52
• 참고문헌 54
• ABSTRACT 57