심층 강화학습을 활용한 에이전트 기반 분산형 스케줄링 = Agent-based distributed scheduling using deep reinforcement learning

국문 초록 (Abstract)

제조 현장은 주문 변동, 설비 고장, 작업 지연 등 다양한 동적 요소로 인해 스케줄링 과정이 복잡하고 동적으로 전개된다. 이러한 환경에서 기존 정적 스케줄링 방식인 메타휴리스틱 기반 최적화 및 우선순위 규칙 기반 방법은 실시간 변화에 빠르게 대응하기가 어렵다는 한계가 존재한다. 또한 중앙집중형 제조실행시스템(MES)은 하나의 중앙 제어 시스템에서 모든 장비와 프로세스를 관리하므로 정보 처리 과정이 복잡하고 생산 현장의 동적 상황에 빠르게 대응하는 데에 있어 한계가 있다. 본 연구에서는 에이전트 기반 분산형 MES 환경에서 심층 강화학습을 활용한 동적 스케줄링 모델을 제안한다. 제안된 모델은 각 에이전트가 독립적으로 의사결정 단위로 작동하며, 생산 현장의 상태를 파악하고 다른 에이전트와 상호작용하며 의사결정한다. 이를 통해 에이전트는 변화하는 환경에 빠르고 능동적으로 대응할 수 있다. 본 연구에서는 셋업 최소화와 납기 지연 최소화라는 서로 상충되는 목표를 동시에 달성하고자 하였다. 셋업과 납기 지연을 시간적 요소로 변환하여 학습 과정에서 두 가지 목적을 균형 있게 반영할 수 있는 다목적 보상구조를 설계하였다. 또한, 에이전트 간 상호작용을 통해 얻을 수 있는 정보를 바탕으로 상태 공간을 구성하였다. 제안된 모델의 성능 검증을 위해서 에이전트 기반 이산사건 시뮬레이션을 활용하였으며, 기존 정적 디스패칭 규칙 방법, 강화학습 모델(Q-Learning)과 비교 분석하였다. 실험 결과, 제안하는 강화학습 기반 동적 스케줄링 모델이 셋업 및 납기 지연 최소화 두 가지 관점을 동시에 고려했을 때 우수한 성과를 보였다. 본 연구는 분산형 MES 환경에서 강화학습 기반 동적 스케줄링 모델의 실현 가능성을 보여주고, 생산 효율성과 납기 준수율을 동시에 향상시킬 수 있는 방안을 제시한다. 본 연구는 하나의 에이전트가 강화학습 모듈을 가지고 작업 순서를 결정하는 디스패칭 시스템을 구현하였다. 향후에는 WIP 에이전트(재공품)가 강화학습 모듈을 가져 의사결정하는 구조를 구현하고, 서로 상호작용하며 작업 순서와 설비 결정 문제를 동시에 결정할 수 있는 고도화된 협업형 강화학습 기반 스케줄링 시스템으로 확장할 수 있다. 이를 통해 복잡한 생산 현장에서도 고도화된 최적화 의사결정이 가능해질 것이다.

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1.1 연구 배경 및 필요성 1
• 1.2 연구 목적 4
• 1.3 논문 구성 5
• Ⅱ. 문헌 연구 6
• 2.1 강화학습 6
• 2.1.1 Q-Learning 8
• 2.1.2 DQN(Deep Q-network) 9
• 2.2 스케줄링 연구 동향 10
• 2.2.1 분산형 스케줄링 연구 동향 10
• 2.2.2 강화학습 기반 스케줄링 연구 동향 12
• 2.3 기존 연구와의 차이점 15
• Ⅲ. 에이전트 기반 스케줄링 모델 16
• 3.1 에이전트 기반 MES 16
• 3.2 에이전트 구성 18
• 3.3 에이전트 기반 디스패칭 시스템 21
• Ⅳ. 강화학습 모델 24
• 4.1 문제 정의 24
• 4.2 MDP (Markov Decision Process) 정의 26
• 4.2.1 상태 (State) 26
• 4.2.2 행동 (Action) 31
• 4.2.3 보상 (Reward) 33
• Ⅴ. 실험 36
• 5.1 시뮬레이션 테스트베드 36
• 5.2 실험 설계 40
• 5.3 학습 시나리오 41
• 5.4 학습 결과 43
• 5.5 테스트 시나리오 45
• 5.6 액션 선택 과정 46
• 5.7 실험 결과 49
• Ⅵ. 결론 53
• 참 고 문 헌 55
• ABSTRACT 59
• 부록 61