Reconstructive and Collaborative Mapping for Multi-Robot Systems = 다중 로봇 시스템을 위한 재구성 및 협력적 매핑

국문 초록 (Abstract)

재난 환경에서의 효과적인 탐색과 내비게이션을 위해서는 원격조작 또는 자율 로봇이 고도화된 인식, 지도작성, 의사결정 지원 시스템을 갖추는 것이 필수적이다. 본 논문은 재난 대응 시나리오에 특화된 실시간 환경 인식 및 고정밀 지도 생성을 위한 통합 프레임워크를 제안한다. 이 프레임워크는 실시간 3차원 시각화 시스템과 불확실성을 고려한 개선된 TSDF 기반 지도 병합 기술이라는 두 가지 주요 연구 성과를 기반으로 하여 다중 로봇 협업 환경에서 공간 인식과 탐색 효율을 극대화하는 데 목적이 있다.

첫 번째 연구에서는 원격조작 로봇을 위한 실시간 3차원 시각화 시스템에 관한 것이다. 재난 현장은 시야 확보가 어렵고 복잡한 구조를 가지므로, 직관적이고 종합적인 시각 정보 제공이 매우 중요하다. 본 시스템은 4개의 어안(fisheye) 카메라와 360도 라이다 센서를 융합하여 주변 환경을 하나의 파노라마 이미지로 실시간 생성하고, 이를 레이저 기반의 실제 거리 데이터를 활용한 공간 모델에 매핑함으로써 기존 WAVM(Wrap-Around View Monitor) 대비 자연스럽고 몰입감 있는 시각 정보를 제공한다. 특히, 기존의 단순 구면이나 원통형 모델과 달리, 실제 벽, 바닥, 장애물 형태를 반영한 공간 기반 모델을 활용함으로써 작업자가 로봇 주변 상황을 보다 직관적으로 인식하고, 다양한 시점에서의 시각 정보를 선택적으로 탐색할 수 있도록 지원한다. 주관적 실험에서는 곡면 벽이나 복잡한 환경에서도 높은 공간 인지력을 보여주었으며, RMSE 기반의 객관적 평가에서도 기존 SLAM 및 WAVM 대비 시각 정보의 정확성이 높게 나타났다.

두 번째 연구에서는 단일 및 다중 로봇 환경에서 적용 가능한 TSDF (Truncated Signed Distance Function) 기반 SLAM 기법이다. 본 방법은 Kalman 필터와 공분산 교차(Covariance Intersection, CI)를 결합하여 각 로봇이 생성한 지역 지도를 정교화하고, 서로 다른 지도 간의 병합 정확도를 향상시킨다. 특히, 로봇 개체 간의 지도 병합 시 발생할 수 있는 SLAM 결과의 해석 차이나 정합 오차 문제를 해결하기 위해, 본 논문은 1차원 Kalman 필터를 활용하여 TSDF 격자 데이터를 노이즈에 강하게 보정하고, 병합 시에는 공분산 교차 기법을 적용하여 상호 상관관계 정보 없이도 신뢰도 높은 데이터 융합이 가능하도록 설계하였다. 복도형 건물과 주거공간 구조의 공개 데이터셋을 활용한 실험 결과는 위치 오차 최대 67% 감소, 연산 시간 단축, 공분산 수렴 향상 등의 유의미한 성능 개선을 입증하였다.

이 두 시스템을 통합한 본 프레임워크는 자율 탐색과 작업자 중심 제어를 모두 지원하는 재난 대응 로봇 시스템으로 구현되었다. Kalman 필터와 공분산 교차를 기반으로 한 지도 병합 기법은 사전 가중치 설정 없이도 적응적으로 다양한 환경 및 센서 설정에 대응 가능하며, 시각화 시스템은 GPS 부재 환경에서도 작업자의 실시간 판단을 도울 수 있다. 특히 고해상도 지도 환경에서도 연산 부하를 줄이며 실시간성을 확보하였고, 맵 업데이트 시간은 기존 대비 30% 이상 개선되었다.

본 연구는 건물 붕괴, 산업재해, 원자력 사고 등 다양한 재난 상황에서 활용 가능한 로봇 시스템의 정밀성과 효율성을 크게 향상시켰다. 향후에는 본 프레임워크를 무인 항공기(UAV)와 통합하거나, 시각화 시스템의 자동 시점 제어 기능을 추가하여 복잡한 작업 환경에서의 운영성을 더욱 강화할 예정이다.

다국어 초록 (Multilingual Abstract)

Effective navigation and exploration in disaster environments require advanced perception, mapping, and decision-support systems for teleoperated and autonomous robots. This dissertation presents a comprehensive framework for real-time, robust environmental understanding and mapping specifically designed for disaster response scenarios. Building upon two key research contributions—a real-time three-dimensional (3D) visualization system—this work aims to improve spatial awareness and navigation and enhanced TSDF-based map merging with uncertainty management efficiency in collaborative multi-robot systems.

The first part of this research focuses on improving the operator's situational awareness via a three-dimensional visualization system for teleoperated robots. Disaster environments are visually complex, often obstructed or poorly lit, requiring intuitive and comprehensive visual feedback. The proposed visualization system fuses data from four fisheye cameras and a 360° laser scanner to produce a real-time, stitched panoramic image overlaid on a spatial 3D model of the environment. Unlike traditional wrap-around view monitor (WAVM), which map images onto simple cylindrical or hemispherical surfaces, this system constructs a more natural spatial model using real-world measurements from the laser scanner. The resulting model accurately represents walls, floors, and obstacles, providing the teleoperator with a holistic and manipulable view of the robot’s surroundings. Subjective evaluations showed enhanced spatial perception in complex and curved environments, while objective tests using RMSE confirmed greater visual fidelity compared to existing WAVM and SLAM-based approaches.

The second part of this research introduces a novel TSDF (Truncated Signed Distance Function)-based simultaneous localization and mapping (SLAM) methodology that integrates a Kalman filter (KF) and covariance intersection (CI) for single and multi-robot operations. In disaster area where multiple robots explore unknown and often unstructured environments, map merging becomes critical. However, inconsistencies in local SLAM maps and environmental ambiguity hinder accurate merging. To overcome this, the proposed framework refines local TSDF maps using one-dimensional Kalman filtering, enhancing each grid cell's estimate with noise modeling adapted to environmental dynamics. During the collaborative phase, the proposed system rectifies occupancy grid maps and utilizes a computationally efficient spectral map merging (SMM) algorithm. This alignment is followed by a covariance intersection technique, which fuses overlapping grid data without requiring cross-correlation knowledge, thereby mitigating uncertainty propagation. Experimental results using two publicly available datasets—a corridor-style building and a cluttered residential-like setting—demonstrate substantial improvements in map accuracy, positional error reduction, and computational efficiency, especially in high-resolution environments.

Integrating both methodologies, the dissertation presents a unified system for disaster response robots that supports both autonomous exploration and human-in-the-loop decision-making. The enhanced SLAM module ensures that multiple robots can simultaneously construct and refine a coherent global map, while the visualization component supports teleoperation in degraded or GPS-denied environments. Notably, this framework eliminates the need for predetermined fusion weights, making it adaptive to a wide range of sensor configurations and environmental uncertainties. Additionally, it supports real-time performance, achieving high frame rates and reducing map update times by over 30% compared to heuristic methods.

This research contributes to the advancement of robotics systems used in urban search and rescue (USAR), particularly in scenarios such as building collapses, industrial accidents, or nuclear facilities. By combining statistical map refinement with intuitive visual feedback mechanisms, this work improves the operational effectiveness, safety, and coordination of robots in life-critical missions. Future extensions will explore its integration with aerial vehicles and further automation of viewpoint selection in the visualization module to assist teleoperators in complex navigation tasks.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• 1.1 Motivation 1
• 1.2 Contributions of Thesis 7
• 1.3 Overview of Thesis 8
• Chapter 2. Related Works 9
• 2.1 Reconstructive Mapping 9
• 2.1.1 Wrap-Around View Monitoring 10
• 2.1.2 3D Reconstruction 11
• 2.2 Collaborative Mapping 12
• 2.2.1 Visual and LiDAR-Based SLAM for Indoor Mapping 13
• 2.2.2 Multi-Robot Map Merging 17
• Chapter 3. Reconstructive Mapping 24
• 3.1 Introduction 24
• 3.2 Image Stitching 27
• 3.2.1 Undistortion 27
• 3.2.2 RoI Cropping and Warping 29
• 3.2.3 Blending 31
• 3.2.4 Acceleration for Image Stitching 32
• 3.3 Spatial Modeling 32
• 3.3.1 Gathering Spatial Information Data 32
• 3.3.2 Converting 2D Points to 3D Points 33
• 3.4 Mapping the Stitched Image to the Spatial Model 36
• 3.5 Experiments 38
• 3.5.1 Subjective Comparative Experiment 38
• 3.5.2 Objective Comparative Experiment 45
• 3.6 Usability Evaluation Experiment 46
• 3.6.1 Purpose of Usability Evaluation 46
• 3.6.2 Usability Evaluation Experimental Method 47
• 3.6.3 Usability Evaluation Experiment Result Analysis 50
• 3.7 Discussion 56
• 3.8 Conclusion 57
• Chapter 4. Collaborative Mapping 58
• 4.1 Introduction 58
• 4.1.1 SLAM in Collaborative Robot Systems 60
• 4.1.2 Consensus Filter 62
• 4.2 Enhanced TSDF-based SLAM 62
• 4.2.1 TSDF-based SLAM 62
• 4.2.2 One-dimensional Kalman Filter for TSD- based Map Update 64
• 4.3 Enhanced TSDF-based Collaborative SLAM 67
• 4.3.1 Map Matching 67
• 4.3.2 Overlapping Grid Cells 68
• 4.3.3 Merged Map Update 69
• 4.4 Experiments 71
• 4.4.1 Public Dataset 71
• 4.4.2 Collaborative SLAM Results 73
• 4.5 Performance Evaluation 78
• 4.5.1 Position Accuracy 78
• 4.5.2 Computation Time 79
• 4.6 Discussion 81
• 4.6.1 Discussion for Parameter Effects 81
• 4.6.2 Discussion on Covariance Convergence 83
• 4.6.3 Discussion for Resolution Variation 87
• 4.7 Conclusion 87
• Chapter 5. Conclusion 89
• Appendix 91
• A. Usability Evaluation Factors of a Teleoperated Robot 91
• B. Usability evaluation factors for the driving control of a teleoperated robot 99
• Bibliography 106
• Abstract in Korean 117