Operation-centric framework of autonomous digital twin via multi-agent reinforcement learning

다국어 초록 (Multilingual Abstract)

Modern manufacturing systems face increasingly complex, uncertain, and dynamic demands, making the achievement of system-level autonomy a critical challenge for competitive and resilient operations. A fundamental barrier to this goal is the inherent hierarchical and distributed structure of manufacturing control, which spans from high-level planning to low-level machine execution. Existing approaches that often rely on fragmented automation or decoupled optimization, fail to manage this complexity. This results in localized, suboptimal solutions that are incapable of system-wide coordination and ignore the critical hierarchical context, leading to poor adaptability and resilience.
This dissertation proposes an integrated framework to overcome this limitation by introducing the Autonomous Digital Twin (ADT). First, the ADT is formally defined from a function-centric perspective, possessing an autonomous regulation cycle and seven core functional capabilities. Second, this dissertation proposes a distributed autonomous control framework that reinterprets the ANSI/ISA-95 standard by mapping intelligent decision-making units, termed DT-agents, to each functional layer. Third, a Context-Aware Hierarchical Multi-Agent Reinforcement Learning (CAH-MARL) architecture has been developed to enable cooperative decision-making within this structure. The core of this architecture is a context propagation mechanism, where the strategic intent of higher-level agents (e.g., a production schedule) is explicitly encoded as context to guide the tactical execution of lower-level agents (e.g., AGV routing).
The framework’s efficacy was empirically validated through two complementary, complex simulation case studies; a two-level vertical co-optimization system and a three-level vertical-horizontal integrated optimization system. Experimental results demonstrated that the proposed ADT framework achieved superior operational effectiveness and efficiency in stable scenarios compared to the conventional decoupled optimization approach. In dynamic disruption scenarios, such as demand shifts or resource failures, it showed remarkable adaptability and resilience, characterized by significantly smaller performance drops and substantially faster recovery times. These results were driven by a high rate of goal achievement across hierarchical layers, confirming that the CAH-MARL context propagation mechanism within the ADT framework successfully orchestrated system-wide coordination.
Consequently, this research provides a novel paradigm that leverages the inherent hierarchical structure of manufacturing systems not as a constraint, but as a mechanism to achieve scalable, system-level autonomy.

국문 초록 (Abstract)

현대 제조 시스템은 복잡성, 불확실성, 동적 수요 증가에 직면해 있으며, 이는 경쟁력 있고 복원력 있는 운영을 위해 시스템 수준의 자율성을 달성하는 것을 핵심 도전 과제로 만든다. 이 목표 달성의 근본적인 장벽은 상위 수준의 계획에서 하위 수준의 기계 실행에 이르기까지, 제조 제어 시스템 고유의 계층적 (hierarchical)이면서 분산된 (distributed) 구조이다. 단편적인 자동화나 분절된(decoupled) 최적화에 의존하는 기존 접근 방식은 이러한 복잡성을 관리하는 데 한계가 있다. 이는 시스템 전반의 협응이 불가능하고 비판적인 계층적 컨텍스트를 고려하지 못하는 국지적, 차선책의 솔루션으로 이어져, 낮은 적응성과 복원력을 야기한다.
본 논문은 자율 디지털트윈 (Autonomous Digital Twin, ADT)을 도입하여 이러한 한계를 극복하는 통합 프레임워크를 제안한다. 첫째, ADT는 자율 규제 사이클 (autonomous regulation cycle)과 7가지 핵심 기능 역량을 갖춘 기능 중심적 관점에서 정의한다. 둘째, 본 논문은 DT-agent라 불리는 지능형 의사결정 단위를 각 기능 계층에 매핑하여 ANSI-ISA-95 표준을 재해석하는 분산형 자율 제어 프레임워크를 제안한다. 셋째, 이 구조 내에서 협력적 의사결정을 가능하게 하는 문맥 인지형 계층적 다중 에이전트 강화학습 (Context-aware hierarchical multi-agent reinforcement learning, CAH-MARL) 아키텍처를 개발한다. 이 아키텍처의 핵심은 상위 에이전트의 전략적 의도 (예: 생산 스케줄)가 하위 에이전트의 전술적 실행 (예: AGV 라우팅)을 안내하는 맥락 (context)로 명시적으로 인코딩되는 컨텍스트 전파 메커니즘이다.
프레임워크의 실효성은 상호 보완적인 두 가지 복잡한 시뮬레이션 사례 연구, 즉 2-레벨 수직적 공동 최적화 시스템과 3-레벨 수직-수평적 통합 최적화 시스템을 통해 실증적으로 검증되었다. 실험 결과, 제안하는 ADT 프레임워크는 기존의 분절된 최적화 접근 방식에 비해 안정적인 시나리오에서 우수한 운영 효율성을 달성했다. 수요 변동이나 자원 고장과 같은 동적 중단 시나리오에서는 현저히 더 작은 성능 저하와 실질적으로 더 빠른 회복 시간을 보이며 압도적인 적응성과 복원력을 나타냈다. 이러한 결과는 계층 간의 높은 목표 달성률에 의해 뒷받침되며, ADT 프레임워크 내의 CAH-MARL 컨텍스트 전파 메커니즘이 시스템 전반의 협응을 성공적으로 조율했음을 확인시켜 준다.
결론적으로 본 연구는 제조 시스템의 고유한 계층적 구조를 제약 조건이 아닌, 확장 가능한 시스템 수준의 자율성을 달성하기 위한 메커니즘으로 활용하는 새로운 패러다임을 제공한다.

목차 (Table of Contents)

• Chapter 1. INTRODUCTION 1
• 1.1 Research Background and Motivation 1
• 1.2 Problem Definition and Research Gap 5
• 1.3 Research Questions and Objectives 7
• 1.4 Research Contributions and Dissertation Overview 9
• Chapter 2. THEORETICAL FOUNDATIONS AND RELATED WORK 11
• 2.1 Digital Twin in Manufacturing 11
• 2.1.1 Definition and Evolution 11
• 2.1.2 Digital Twin Maturity Model 13
• 2.2 Manufacturing Control Standards and Architectural Evolution 19
• 2.2.1 Standardization Frameworks: ISO 23247 vs. ANSI/ISA-95 19
• 2.2.2 From Hierarchical Control to Flexible Networked Architectures 22
• 2.3 Multi-Agent Reinforcement Learning for Cooperative Control 23
• 2.3.1 Fundamentals and Challenges 23
• 2.3.2 Cooperative Learning Paradigms 24
• Chapter 3. AUTONOMOUS DIGITAL TWIN FRAMEWORK FOR SYSTEM-LEVEL MANUFACTURING AUTONOMY 28
• 3.1 Definition of Autonomous Digital Twin 28
• 3.1.1 Formal Definition 28
• 3.1.2 Core Functional Capabilities 30
• 3.1.3 Distinction from ADT-Related Research 35
• 3.2 Hierarchical Architecture for Distributed Autonomy 40
• 3.2.1 DT-Agent: The Building Block of the Framework 40
• 3.2.2 Hierarchical Mapping of DT-Agents to ISA-95 Levels 43
• 3.3 Autonomous Digital Twin Framework 46
• 3.3.1 Overall Framework 46
• 3.3.2 DT-Agent Operation and Interaction Mechanism 51
• Chapter 4. CONTEXT-AWARE HIERARCHICAL MULTI-AGENT REINFORCEMENT LEARNING FOR AUTONOMOUS DECISION-MAKING 54
• 4.1 Problem Formulation 55
• 4.1.1 Hierarchical Modeling of Manufacturing Autonomy 55
• 4.1.2 System-Level Objectives and Constraints 59
• 4.2 Context-Aware Hierarchical Multi-Agent Reinforcement Learning Architecture 62
• 4.2.1 Overall Architecture 62
• 4.2.2 Training Phase: Centralized Training with Context Propagation 68
• 4.2.3 Execution Phase: Decentralized Execution with Context Guidance 71
• Chapter 5. EXPERIMENTAL VALIDATION 74
• 5.1 Experimental Validation Overview 74
• 5.1.1 Case Study Overview 74
• 5.1.2 Autonomy Indicators 76
• 5.2 Case Study 1: Mixed-Model Production System 80
• 5.2.1 Problem Description and Experimental Scenario Definition 80
• 5.2.2 Experimental Environment 86
• 5.2.3 Experimental Results and Analysis 90
• 5.3 Case Study 2: Production-Logistics Integrated System 103
• 5.3.1 Problem Description and Experimental Scenario Definition 103
• 5.3.2 Experimental Environment 107
• 5.3.3 Experimental Results and Analysis 113
• 5.4 Discussion of Results and Scalability Analysis 127
• Chapter 6. CONCLUSIONS 130
• 6.1 Summary and Contributions 130
• 6.2 Limitations and Future Research 133