Semantic address-based multi robot navigation using digital twin

국문 초록 (Abstract)

이 논문은 예측 불가능한 혼잡으로 인해 발생하는 ‘시스템 전반의 비효율성 (system-wide inefficiency)’ 문제를 해결하기 위해, 대규모 동적 환경에서의 지능형 다중 로봇 내비게이션 프레임워크를 제안한다. 이 프레임워크는 로봇 군집(fleet) 내에서 개별 반응형 제어 방식이 가진 한계를 극복하기 위해, 세 가지 상호 보완적인 기술을 계층적으로 통합하였다: 1. 의미론적 모델링 프레임워크(SMF): 정적 환경 정보를 포함하는 Semantic DB와 로봇이 인식한 동적 장애물 정보를 통합 형식으로 모델링하는 환경 정보 계층이다. 2. 영역 혼잡 지수(ACI) 모델: SMF로부터 얻은 정적 및 동적 환경 정보를 융합하여, “복도 A”와 같은 의미론적 구역 단위에서의 혼잡도를 실시간으로 정량화하는 분석 계층이다. 3. 예측형 디지털 트윈(Predictive Digital Twin): 계산된 ACI를 활용하여 시스템 전체의 의사결정을 위한 분석, 예측, 최적화를 수행하는 엔진이다. 다양한 병원 시뮬레이션 시나리오에서의 실험 결과, 제안된 프레임워크는 전체 작업 완료 시간의 유의미한 감소와 데드락(deadlock) 발생 빈도의 감소를 달성하였다. 또한, 정적 Semantic DB와 동적 장애물 정보를 ACI 모델을 통해 융합하는 과정이 정확한 혼잡 평가에 필수적임을 실증적으로 확인하였다. 아울러, 디지털 트윈 기반의 선제적(예측적) “Stick vs. Switch” 의사결정 메커니즘이 기존의 단순 반응형 방식에 비해 성능을 크게 향상시킴을 보여주었다. 정량적 분석에서는, 혼잡 패널티를 적용한 기존 경로 유지 시나리오와 새로운 최적 우회 경로를 따르는 시나리오 간의 도착 시간 예측 차이를 비교하여, 예측 기반의 적응적 재계획전략이 전체 시스템 처리량을 효과적으로 향상시킴을 입증하였다. 본 연구는 예측형 디지털 트윈을 활용한 전역 최적화를 통해 복잡한 실제 환경에서 다중 로봇 군집 운용을 가능하게 하는 효과적인 방법론을 제시함으로써, 해당 분야의 발전에 기여하였다.

다국어 초록 (Multilingual Abstract)

This thesis proposes an intelligent multi-robot navigation framework for large-scale dynamic environments, addressing the problem of 'system-wide inefficiency' caused by unpredictable congestion. To overcome the limitations of individual reactive control in robotic fleets, this framework hierarchically integrates three complementary technologies: 1. Semantic Modeling Framework (SMF): An environmental information layer that models both static environmental information (Semantic DB) (e.g., area dimensions, static obstacles) and robot-identified dynamic obstacles in a unified format. 2. Area Congestion Index (ACI) Model: An analytical layer that fuses static and dynamic environmental information from the SMF to quantify congestion in real-time at the semantic area level (e.g., "Corridor A"). 3. Predictive Digital Twin: An analysis, prediction, and optimization engine for system-wide decision-making, utilizing the calculated ACI. Experimental results in various hospital simulation scenarios demonstrated that the proposed framework achieves a significant reduction in total task completion time and a decrease in the frequency of deadlocks.
Furthermore, we empirically confirmed that the fusion of the static Semantic DB and dynamic obstacle information via the ACI model is essential for accurate congestion assessment. It was also demonstrated that the Digital Twin-based, proactive "Stick vs. Switch" decision-making significantly improves performance compared to conventional reactive methods. Quantitative analysis compared the estimated arrival times between the scenario of maintaining the current path with applied congestion penalties and the scenario of following a new optimal detour path, proving that the prediction-based adaptive replanning strategy is effective for overall system throughput. In conclusion, this research advances the field by presenting an effective methodology that enables multi-robot fleet operation in complex real-world environments by leveraging a predictive digital twin for global optimization.

목차 (Table of Contents)

• 1.Introduction 1
• 2.Related Works 5
• 2.1.Semantic Awareness 7
• 2.1.1.Ontology-based Knowledge Models 7
• 2.1.2.Semantic SLAM for Dynamic Environments 8
• 2.2.Multi-Robot and Semantic Navigation 9
• 2.2.1.Distributed Control and Collision Avoidance Methods 10
• 2.2.2.Cooperative Path Planning and Graph-based Search 10
• 2.3.Congestion Management in Dynamic Environments 12
• 2.4.Digital Twin in Robotics 13
• 3.Semantic Address Multi Robot Navigation 14
• 3.1.Semantic Address Multi Robot Navigation Framework 15
• 3.1.1.Two Core System Components of the Framework 16
• 3.1.2.Redefining the Role of the Digital Twin System 17
• 3.2.Real World System 20
• 3.2.1.Semantic Modeling Framework 21
• 3.2.1.1.Place Modeling 22
• 3.2.1.2.Object Modeling 23
• 3.2.1.3.Node Modeling 24
• 3.2.1.4.Edge Modeling 25
• 3.2.2.Semantic Goal Planner 26
• 3.2.2.1.Task Input Types and Coordinate Translation 28
• 3.2.2.2.Output Structure and Integration with the DTS 29
• 3.2.3.Multi Robot Manager 30
• 3.2.3.1.Robot State Aggregation 30
• 3.2.3.2.Dynamic Object Detection 31
• 3.3.Digital Twin System 33
• 3.3.1.SMF based-Digital Twin Environment Setup 35
• 3.3.2.Congestion Level Manager 36
• 3.3.2.1.Area Congestion Index (ACI) 37
• 3.3.2.2.ACI-based Congestion Level Classification 40
• 3.3.2.3.Propagation of Congestion Information (Place Node Edge) 40
• 3.3.3.Congestion-Weighted Path Planner 42
• 3.3.3.1.Dijkstra Algorithm 43
• 3.3.3.2.Congestion-aware Weighted Cost Model 45
• 3.3.4.Dynamic Global Path Replanning 47
• 4.Experiments and Results 49
• 4.1.Experimental Setup 49
• 4.1.1.Experimental Environment Modeling 50
• 4.1.2.Experimental Robot Modeling and Sensor Configuration 52
• 4.1.3.Experimental Scenarios 54
• 4.1.4.Evaluation Metrics 57
• 4.2.Experimental Results 57
• 4.2.1.ACI Modeling Evaluation 58
• 4.2.2.Congestion-Aware Cost Model Evaluation 62
• 4.2.3.Dynamic Global Path Replanning Evaluation 64
• 5.Conclusion 64
• References 68
• Korean Abstract 71