조선소 실행계획 최적화를 위한 심층 강화학습 기반 동적 스케줄링 연구 = A Study on Dynamic Scheduling for Shipyard Execution Planning Using Deep Reinforcement Learning

다국어 초록 (Multilingual Abstract)

Shipyard production environments are characterized by high uncertainty, including work delays, equipment failures, and emergency operations. In the execution planning phase, the feasibility of plans is directly affected by on-site uncertainties, making dynamic planning essential to reflect real-time production conditions. However, most existing research on execution plan optimization has been limited to static optimization based on deterministic data. While some studies have employed simulation, fuzzy theory, and rescheduling techniques to address uncertainty, they face limitations in supporting real-time decision-making in dynamic production environments due to issues such as poor integration between simulation and optimization processes, inadequate responses to unpredictable disruptions, and computational burdens from repetitive plan revisions.
To address these challenges, this study proposes a multi-agent reinforcement learning-based dynamic scheduling framework that supports real-time decision-making based on production monitoring data. To effectively account for the complexity and distributed nature of decision-making in shipyard production processes, three methodologies are proposed. First, for state encoding, an Edge-Feature-Augmented Heterogeneous Graph (EFA-HG)-based approach is proposed to effectively capture complex interdependencies and constraints among various production entities in shipyard operations. Second, for inter-agent communication, a Relation-Aware Message (RAM)-based communication scheme is introduced to enable agents to exchange high-dimensional relational information directly applicable to decision-making. Third, for multi-agent learning strategy, a Decompose-Integrate-Adapt DTDE (DIA-DTDE) learning strategy is proposed to maintain the scalability of conventional Decentralized Training with Decentralized Execution (DTDE) while mitigating environment non-stationarity to ensure learning stability.
The effectiveness of the proposed methodologies is validated on the most generalized machine scheduling problem types: unrelated parallel machines and flexible job shop. Specifically, case studies are conducted on four scheduling problems: quay wall allocation for post-stage outfitting operations, crane scheduling in steel stockyards, flexible job shop scheduling with crane transportation, and grand assembly process scheduling. The results demonstrate that the dynamic scheduling algorithm based on the proposed framework consistently outperforms priority dispatching rules and genetic programming methods, with performance gaps widening as problem scale and complexity increase. The contributions of the three proposed methodologies are verified as follows. The EFA-HG-based state encoding achieves an average performance improvement of 28.1% over conventional graph-based encoding, while RAM-based communication shows an average improvement of 11.1% compared to independent decision-making without information exchange. Furthermore, the DIA-DTDE learning strategy achieves an average performance improvement of 6.3% over the conventional DTDE strategy.
Based on these findings, this study provides the following theoretical contributions to the field of deep reinforcement learning-based dynamic scheduling. First, it presents an improved approach for effectively modeling the structural characteristics of complex production environments such as shipyards through EFA-HG-based state encoding. Second, it proposes a heterogeneous multi-agent learning framework that enables stable learning of cooperative policies for multiple decision-making elements through RAM-based communication and DIA-DTDE learning strategy. Additionally, this study offers the following practical contributions to shipyard production management. First, it enables immediate decision-making that reflects real-time site conditions when disruptive events occur in shipyard production environments, minimizing production disruptions and ensuring operational stability. Second, it supports cooperative decision-making among diverse departments performing different planning tasks, enabling productivity improvement from a system-wide perspective rather than individual departmental optimization.

국문 초록 (Abstract)

조선소의 생산 환경은 작업 지연, 설비 고장, 긴급 작업 발생 등 높은 불확실성을 특징으로 한다. 조선소 실행계획 단계에서는 계획의 실행 가능성이 현장의 불확실성에 직접적으로 영향을 받기 때문에, 변화하는 생산 상황을 실시간으로 반영한 동적 계획 수립이 필수적이다. 그러나 기존 실행계획 최적화 연구는 대부분 확정적 데이터를 기반으로 한 정적 최적화를 수행하는 데 그쳤다. 일부 연구에서는 불확실성을 고려하기 위해 시뮬레이션, 퍼지 이론, 재스케줄링 기법을 활용하였으나, 시뮬레이션과 최적화 과정 간 연계 부족, 예측 불가능한 돌발 이벤트에 대한 대응 한계, 반복적인 계획 재수립에 따른 계산 부담 등의 문제로 인해 동적 생산 환경에서 실시간 의사결정을 지원하는 데 한계가 있었다.
이에 본 연구는 생산 환경의 불확실성에 효과적으로 대응할 수 있는 동적 스케줄링 방법론 개발을 목표로, 생산 공정의 모니터링 데이터를 기반으로 실시간 의사결정을 지원하는 멀티 에이전트 강화학습 기반 동적 스케줄링 프레임워크를 제안하였다. 특히, 조선소 생산 공정의 복잡성과 의사결정의 분산성을 효과적으로 고려하기 위해 다음의 세 가지 방법론을 제안하였다. 첫째, 상태 인코딩과 관련하여 조선소 생산 공정에 존재하는 다양한 생산 요소 간의 복잡한 상호 의존성 및 제약 관계를 효과적으로 포착할 수 있는 Edge-Feature-Augmented Heterogeneous Graph(EFA-HG) 기반 상태 인코딩 방식을 제안하였다. 둘째, 에이전트 간 커뮤니케이션과 관련하여 에이전트가 의사결정에 직접적으로 활용 가능한 고차원 관계 정보를 전달할 수 있는 Relation-Aware-Message(RAM) 기반 커뮤니케이션 방식을 제안하였다. 셋째, 멀티 에이전트 학습 전략과 관련하여 기존 Decentralized Training, Decentralized Execution(DTDE) 방식의 확장성을 유지하면서 환경의 비정상성 문제를 완화함으로써 학습 안정성을 확보할 수 있는 Decompose-Integrate-Adapt Decentralized Training, Decentralized Execution(DIA-DTDE) 학습 전략을 제안하였다.
제안 방법론은 기계 스케줄링 문제의 가장 일반화된 유형인 이종 병렬 기계 및 유연 잡샵 스케줄링 문제를 대상으로 그 효과성을 검증하였다. 구체적으로, 네 가지 스케줄링 문제—후행 의장 공정 안벽 배치, 강재 적치장 크레인 스케줄링, 크레인 운송을 고려한 유연 잡샵 스케줄링, 대조립 공정 일정 계획—에 대한 사례 연구를 수행하였다. 사례 연구 결과, 제안 프레임워크에 기반한 동적 스케줄링 알고리즘은 우선순위 규칙 및 유전 프로그래밍 방법 대비 일관되게 우수한 성능을 나타냈으며, 특히 문제의 규모와 복잡도가 증가할수록 성능 격차가 더욱 커지는 양상을 보였다. 본 연구에서 제안한 3가지 방법론의 기여도는 다음과 같이 입증되었다. EFA-HG 기반 상태 인코딩은 기존의 그래프 기반 인코딩 대비 평균 28.1%의 성능 향상을 달성하였으며, RAM 기반 커뮤니케이션은 에이전트 간 정보 교환이 없는 독립적 의사결정 방식 대비 평균 11.1%의 성능 향상을 나타냈다. 또한, DIA-DTDE 학습 전략은 기존 DTDE 전략 대비 평균 6.3%의 성능 향상을 달성하였다.
이상의 연구 결과를 바탕으로 본 연구는 심층 강화학습 기반 동적 스케줄링 분야에 다음과 같은 이론적 기여를 제공한다. 첫째, EFA-HG 기반 상태 인코딩을 통해 조선소와 같이 복잡한 생산 환경의 구조적 특성을 효과적으로 모델링하는 개선된 접근법을 제시한다. 둘째, RAM 기반 커뮤니케이션 방식과 DIA-DTDE 학습 전략을 통해 복수 의사결정 요소에 대한 협력적 정책의 안정적 학습이 가능한 이종 멀티 에이전트 학습 프레임워크를 제안한다. 또한, 본 연구는 조선소 생산관리에 다음과 같은 실무적 기여를 제공한다. 첫째, 조선소 생산 환경에서 돌발 이벤트 발생 시 현장 상황을 실시간으로 반영한 즉각적인 의사결정을 지원하여 생산 차질 최소화와 운영 안정성 확보를 가능케 한다. 둘째, 서로 다른 계획 업무를 수행하는 다양하는 부서 간 협력적 의사결정을 지원하여 개별 부서 단위가 아닌 전체 시스템 관점의 생산성 향상을 가능케 한다.

목차 (Table of Contents)

• 1. 서론 1
• 1.1 연구 배경 1
• 1.1.1 조선 생산 시스템의 특성 1
• 1.1.2 조선소 생산계획 체계 4
• 1.1.3 조선 업계의 디지털 전환 6
• 1.1.4 인공지능 기반 계획 최적화 8
• 1.2 관련 연구 동향 12
• 1.2.1 조선 분야 생산계획 연구 12
• 1.2.2 심층 강화학습 기반 동적 스케줄링 연구 16
• 1.2.3 멀티 에이전트 시스템 기반 동적 스케줄링 연구 21
• 1.3 연구 목적 및 범위 25
• 1.3.1 연구 목적 25
• 1.3.2 연구 범위 26
• 1.4 논문 구성 29
• 2. 이론적 배경 30
• 2.1 기계 스케줄링 문제 30
• 2.1.1 기계 스케줄링 문제의 분류 30
• 2.1.2 기계 스케줄링 문제의 계층 구조 32
• 2.2 동적 스케줄링 34
• 2.2.1 동적 스케줄링 모델의 분류 34
• 2.2.2 우선순위 규칙 기반 동적 스케줄링 37
• 2.3 심층 강화학습 40
• 2.3.1 마르코프 결정 과정 40
• 2.3.2 벨만 방정식 42
• 2.3.3 함수 근사 기반 강화학습 44
• 2.4 멀티 에이전트 강화학습 51
• 2.4.1 분산형 부분 관측 마르코프 결정 과정 51
• 2.4.2 멀티 에이전트 학습 전략 53
• 2.5 심층 강화학습 기반 동적 스케줄링 프레임워크 55
• 3. 제안 방법 57
• 3.1 제안 프레임워크 개요 57
• 3.1.1 전체 구조 57
• 3.1.2 오프라인 학습 및 온라인 적용 59
• 3.2 디지털 트윈 기반 학습 환경 61
• 3.2.1 학습 데이터 생성 모듈 61
• 3.2.2 시뮬레이션 모듈 62
• 3.2.3 인터페이스 모듈 63
• 3.3 EFA-HG 기반 상태 인코딩 64
• 3.3.1 상태 표현 64
• 3.3.2 정책 신경망 구성 67
• 3.4 RAM 기반 커뮤니케이션 71
• 3.4.1 계층적 정보 흐름 모델링 71
• 3.4.2 메시지 정의 72
• 3.5 DIA-DTDE 기반 멀티 에이전트 학습 75
• 3.5.1 학습 전략 75
• 3.5.2 학습 알고리즘 77
• 4. 실험 및 검증 81
• 4.1 후행 의장 공정 안벽 배치 82
• 4.1.1 문제 개요 82
• 4.1.2 마르코프 결정 과정 87
• 4.1.3 에이전트 성능 검증 93
• 4.2 강재 적치장 크레인 스케줄링 100
• 4.2.1 문제 개요 100
• 4.2.2 마르코프 결정 과정 104
• 4.2.3 에이전트 성능 검증 108
• 4.3 크레인 운송이 고려된 유연잡샵 스케줄링 115
• 4.3.1 문제 개요 115
• 4.3.2 분산형 부분 관측 마르코프 결정 과정 117
• 4.3.3 멀티 에이전트 시스템 성능 검증 126
• 4.4 대조립 공정 일정 계획 133
• 4.4.1 문제 개요 133
• 4.4.2 분산형 부분 관측 마르코프 결정 과정 137
• 4.4.3 멀티 에이전트 시스템 성능 검증 142
• 5. 토의 148
• 6. 결론 151
• 참고 문헌 154
• 부록 167