Digital Twin-Driven Multi-Target Navigation using Quantum-inspired Optimization and Reinforcement Learning

국문 초록 (Abstract)

본 논문은 구조화된 창고 환경에서 자율 지게차의 다중 목표 내비게이션을 위한 디지털 트윈 기반 계층적 프레임워크를 제안한다. 제안 방법은 Grover 탐색 원리에서 영감을 받은 고전적 목표 순서 결정, A* 기반 전역 경로 계획, ACO 영감 기반 웨이포인트 개선, PPO 기반 실행 제어로 구성된다. 목표 순서 결정은 양자 알고리즘이 아닌 거리 기반 휴리스틱으로, 웨이포인트 개선은 거리·장애물 안전성·평활도를 고려한 조정 단계로 구현되었다. 제안 프레임워크는 NVIDIA Isaac Sim 및 Isaac Lab 기반 창고 디지털 트윈에서 평가되었으며, 짧은 이동 거리와 경쟁력 있는 계획 시간을 보였다. 10개 목표 시나리오에서 PPO 제어기는 PID, Pure Pursuit, Stanley-PID 대비 높은 임무 성공률과 총보상을 달성하였다. 다만 본 연구는 단일 로봇 디지털 트윈 검증에 한정되며, 실제 하드웨어 적용과 다중 로봇 협조는 향후 과제로 남는다.

목차 (Table of Contents)

• Contents
• [List of Figures] i
• [List of Tables] i
• [Abbreviations] ii
• Chapter 1: Introduction 1
• 1.1 Overview of Autonomous Multi-Target Navigation 1
• 1.2 Digital Twin Technology 3
• 1.3 Reinforcement Learning for Autonomous Navigation and Control 5
• 1.4 Quantum-Inspired Optimization for Combinatorial Problems 7
• 1.5 Problem Statement 8
• 1.6 Research Objectives 9
• 1.7 Research Scope 10
• Chapter 2: Literature Review 13
• 2.1 Classical and Heuristic Path Planning Methods 14
• 2.2 Multi-Target Navigation and Combinatorial Optimization 16
• 2.3 Digital Twin-Based Warehouse 18
• 2.4 Quantum-Inspired Optimization 21
• 2.5 Reinforcement Learning for Autonomous Navigation and Control 23
• 2.6 Research Gap and Summary 24
• Chapter 3: Proposed System 27
• 3.1 Overview of the Proposed Framework 27
• 3.2 Digital Twin Environment and Data Representation 28
• 3.3 Classical Grover-Inspired Target Sequencing 30
• 3.4 A*-Based Global Path Planning with ACO-Inspired Waypoint Refinement 36
• 3.4.1 A* Search for Initial Path Generation 37
• 3.4.2 ACO-Inspired Waypoint Refinement 38
• 3.5 PPO-Based Reinforcement Learning Control 41
• 3.6 Closed-Loop Integration Workflow 46
• Chapter 4: Evaluation & Performance Analysis 48
• 4.1 Experimental Setup 49
• 4.1.1 Simulation Environment and Implementation Details 50
• 4.1.2 Reinforcement Learning Configuration 52
• 4.1.3 Evaluation Metrics 54
• 4.1.4 Comparison Baselines 59
• 4.1.5 Overall Framework Performance 62
• 4.1.6 Execution-Level Tracking Performance 64
• 4.1.7 Target Sequencing Performance Comparison 66
• 4.1.8 Global Path Planning Comparison 68
• 4.1.9 Controller Performance Comparison 70
• 4.1.10 Discussion 74
• Chapter 5: Conclusion, Future Works, and Open Issues 77
• 5.1 Conclusion 77
• 5.2 Future Work 80
• 5.3 Open Issues 81
• References 84