분산형 제어 시스템 기반 심층 강화학습을 활용한 이송 경로 최적화 = Distributed Control System-based Transport Route Optimization using Deep Reinforcement Learning

다국어 초록 (Multilingual Abstract)

The advent of the Fourth Industrial Revolution brought about a major change in the decision-making process and production management system of the manufacturing environment. With the introduction of technologies such as Internet of Things(IoT), artificial intelligence(AI), and big data, a large amount of data is being collected in real time from production equipment and logistics systems.
Smart Factory is an intelligent manufacturing system that ensures connectivity between equipment, processes, and logistics and makes autonomous decisions based on such data. Material handling systems that manage transport routes directly affect productivity and delivery performance. However, traditional static routing methods cannot adequately reflect the dynamically changing environment, as they
determine routes based on predefined information.
To address this limitation, this work proposes a distributed routing system based on deep reinforcement learning. In the proposed system, each workpiece and material handling device is defined as an independent agent, and reinforcement learning allows each agent to interact with the environment to autonomously determine the optimal routing path. This approach alleviates computational load and dependency problems inherent in centralized control architectures and enables flexible and fast response in dynamic manufacturing environments.
The proposed system is validated by simulation. Two reinforcement learning algorithms, Q-learning and DQN, which aim to minimize the average lead time, are applied. Simulation results show that DQN-based models outperform traditional Dijkstra and Q-learning-based models. In particular, DQN models show stable results even in unseen environments, demonstrating their generalization ability and adaptability to dynamic conditions.
In conclusion, the deep reinforcement learning based distributed routing system proposed in this study enables autonomous and efficient material transport in smart factory environments while overcoming the limitations of traditional centralized control methods. In addition, this study verifies that the distributed control architecture using reinforcement learning is effective in optimizing logistics paths and improving production efficiency of smart factories. Future studies will focus on verifying the proposed model in an environment that integrates uncertainties such as equipment failures and defects.

국문 초록 (Abstract)

4차 산업혁명의 도래로 제조 환경의 의사결정 방식과 생산 관리 체계에 다양한 변화가 일어나고 있다. 사물인터넷, 인공지능, 빅데이터 등 기술이 도입되면서 생산 설비와 물류 시스템에서 대량의 데이터가 실시간으로 수집되고 있다.
스마트팩토리는 이러한 데이터를 바탕으로 설비, 공정, 물류 간 연결성을 확보하고 자율적으로 판단하는 지능형 제조 시스템으로, 자재 이동 경로를 관리하는 물류 이송 시스템은 생산성 향상과 납기에 직접적인 영향을 미친다. 그러나 기존의 정적 라우팅 기법은 사전에 정의된 정보를 기반으로 경로를 결정하므로, 실시간으로 변화하는 환경을 충분히 반영하지 못하는 한계가 있다.
이러한 한계를 해결하기 위해 본 연구에서는 심층 강화학습 기반 분산형 라우팅 시스템을 제안한다. 제안된 시스템은 각 작업물과 자재 이송 설비를 독립적인 개별 에이전트로 정의하고, 강화학습을 통해 각 에이전트가 환경과 상호작용하여 스스로 최적의 이동 경로를 결정할 수 있다. 이를 통해 기존 중앙집중식 제어 구조의 연산 부하와 장애 발생 시 의존성 문제를 해결하고, 실시간으로 변화하는 동적 제조 환경에서도 유연하고 신속하게 대응할 수 있다.
본 연구는 시뮬레이션을 통해 제안된 시스템을 검증하였다. Q-learning과 DQN 두 가지의 강화학습 알고리즘을 적용하였으며, 두 알고리즘 모두 평균 리드타임 최소화를 목표로 설정하였다. 시뮬레이션 실험 결과, DQN 기반 모델이 기존의 Dijkstra 및 Q-learning 기반 모델에 비해 우수한 성능을 보였다. 특히 DQN 모델은 학습되지 않은 환경에서도 안정적인 결과를 보여, 제안된 모델의 일반화 성능과 동적 환경에 대한 대응 능력을 확인할 수 있었다.
결론적으로 본 연구에서 제안한 심층 강화학습 기반 분산형 라우팅 시스템은 스마트팩토리 환경에서 자율적이고 효율적인 자재 이송이 가능하며, 기존 중앙집중식 제어 방식의 한계를 극복하였다. 또한, 본 연구는 강화학습을 이용한 분산형 제어 구조가 스마트팩토리 환경에서의 물류 경로 최적화와 생산 효율 향상에 효과적임을 입증하였다. 향후에는 설비 고장이나 불량 등 불확실성을 반영한 환경에서의 적용 가능성을 검증할 계획이다.

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1.1.연구 배경 및 필요성 1
• 1.2.연구 목표 4
• 1.3.논문 구성 5
• Ⅱ.이론적 배경 6
• 2.1 강화학습 6
• 2.1.1.Q-learning 7
• 2.1.2.DQN 8
• 2.2.강화학습 기반 라우팅 10
• 2.3.분산형 제어 시스템 기반 라우팅 12
• Ⅲ.에이전트 기반 라우팅 시스템 14
• 3.1.제조실행 프레임워크 14
• 3.2.에이전트 구성 17
• 3.3.라우팅 시스템 운영 구조 20
• Ⅳ.강화학습 모델 23
• 4.1.문제 정의 23
• 4.2.Q-learning 25
• 4.2.1.상태 25
• 4.2.2.행동 26
• 4.2.3.보상 26
• 4.3.DQN 28
• 4.3.1.상태 28
• 4.3.2.행동 28
• 4.3.3.보상 29
• Ⅴ.시뮬레이션 실험 30
• 5.1.시뮬레이션 테스트베드 30
• 5.2.강화학습 모델 고도화 37
• 5.3.학습 40
• 5.3.1.학습 시나리오 40
• 5.3.2.학습 결과 42
• 5.4.평가 44
• 5.4.1.평가 시나리오 44
• 5.4.2.평가 결과 47
• Ⅵ.결론 53