혼합현실(MR) 기반의 지하 매설물 관리 시스템 연구 = A Study on a Mixed Reality(MR)-Based Underground Utility Management System

다국어 초록 (Multilingual Abstract)

This study aims to develop an intelligent underground utility management system that integrates Mixed Reality (MR) technology to accurately and efficiently manage the location and attribute information of major underground facilities, including pipelines, power lines, and communication networks. Recent advancements in fifth-generation (5G) mobile communication, cloud and edge computing, and deep learning-based object recognition technologies have significantly enhanced the realism, responsiveness, and mobility of MR devices. As a result, MR has emerged as a next-generation on-site visualization platform with strong industrial applicability, poised to replace traditional smartphone-centered field management systems.
Conventional underground utility management relies on two-dimensional drawings or Geographic Information System (GIS)-based databases, which inherently limit on-site accessibility, data portability, accurate location identification, real-time data updates, and collaborative functions. Furthermore, aging underground infrastructure, increased urban complexity, and heightened safety concerns have intensified the need for a precise and intuitive three-dimensional management framework. To address these issues, this study designs and implements an MR-based intelligent underground utility management system, referred to as SCUP (Smart City Underground Pipeline). The developed system comprises the following core modules.
First, the MR-based 3D visualization module employs OpenCV and the Unity3D engine to register and display 3D objects—such as pipelines, cables, and valves—onto real-world imagery in real time. A stratification recognition and depth estimation algorithm is applied to accurately represent the actual burial depth of underground utilities beneath the ground surface. Second, the underground utility recognition and data automation module automatically identifies infrastructure components, including markers and valves, and collects and refines attribute information such as GPS-based location, depth, and path in real time. Third, the WebRTC-based remote collaboration and data transmission module enables bidirectional video and data streaming between control centers and field personnel, supporting real-time collaboration, task instruction, and issue response.
Fourth, a MongoDB–Hadoop-based data management architecture integrates unstructured data (e.g., XML, JSON, CSV) with structured pipeline attributes to support high-speed processing and distributed storage of large-scale 3D spatial datasets. Fifth, the field interface for HMD and mobile devices provides Bluetooth-based data communication, enabling field workers to access and manipulate underground utility information directly within the MR environment.
A field demonstration was conducted using seven major categories of underground utilities—including water, sewer, power, telecommunications, and gas—within a designated smart city testbed. The results show that the proposed system improves location accuracy, operational efficiency, and data update speed compared to traditional 2D-based management methods. In addition, the WebRTC-based collaboration function maintained a data synchronization latency of less than 200 ms between field units and the control center, validating the system’s capability for real-time cooperative operations.
The MR-based intelligent underground utility management technology presented in this study not only enhances the safety, efficiency, and sustainability of urban underground infrastructure management but also demonstrates strong potential as a core enabling technology for digital twin–based smart city development. Future extensions of this research will focus on integrating MR with IoT, cloud computing, and AI analytics to establish real-time citywide infrastructure monitoring and predictive maintenance systems.

목차 (Table of Contents)

• Ⅰ. 서 론 1
• 1.1 연구배경 및 목적 1
• 1.1.1 연구배경 1
• 1.1.2 연구목적 1
• 1.2 연구범위 및 방법 2
• 1.3 연구 고찰 3
• 1.4 본 연구의 방향과 차별성 4
• Ⅱ. 혼합현실(MR)기반 지하 매설물관리의 이해 및 필요성 7
• 2.1 혼합현실 개념 7
• 2.1.1 혼합현실의 정의 7
• 2.1.1.1 혼합현실의 개념 7
• 2.1.1.2 혼합현실의 특징 7
• 2.1.1.3 혼합현실과 유사 개념의 비교 8
• 2.1.2 혼합현실 기술의 구성요소 8
• 2.1.3 혼합현실 기술의 확산 동향 9
• 2.1.3.1 산업 분야별 확산 9
• 2.1.3.2 혼합현실 기술 확산의 배경 10
• 2.1.4 혼합현실 기술 확산의 과제 10
• 2.1.5 혼합현실(Mixed Reality, MR)의 필요성 10
• Ⅲ. 혼합현실기반 지하매설물 시스템 개발 13
• 3.1 시스템 개발 개요 13
• 3.1.1 시스템 개발 목표 및 필요성 13
• 3.1.1.1 시스템 개발의 필요성 13
• 3.1.1.2 시스템 개발 목표 13
• 3.1.2 적용 기술 스텍 14
• 3.1.3 사용자 요구사항 정리 14
• 3.1.3.1 현장 작업자의 요구사항 14
• 3.1.3.2 관리자(엔지니어) 요구사항 15
• 3.1.3.3 관제센터 요구사항 15
• 3.2 시스템 아키텍처 16
• 3.2.1 전체 시스템 구조 개요 16
• 3.2.1.1 시스템 구조 16
• 3.2.2 데이터 처리 파이프라인 16
• 3.2.2.1 데이터 흐름 구성 16
• 3.3 주요 기능 모듈 설계 17
• 3.3.1 MR 기반의 3차원 시각화 모듈 17
• 3.3.1.1 영상 접합 및 3D 시각화 엔진 17
• 3.3.1.2 영상 접합 및 3D 시각화 엔진 특징 17
• 3.3.2 지하매설물 객체 인식 및 속성 추출 모듈 17
• 3.3.2.1 지하매설물 객체인식 17
• 3.3.2.2 핵심기능 17
• 3.3.3 WebRTC 기반 원격 협업 및 실시간 스트리밍 18
• 3.3.4 DB 및 분산저장 아키텍처 18
• 3.3.5 HMD-모바일 연동 인터페이스 18
• 3.4 시스템 구현 상세 19
• 3.4.1 UI/UX 및 사용자 워크플로우 19
• 3.4.2 서비스 시나리오 19
• 3.5 시스템 개발 현황 20
• 3.5.1 시스템 개발 세부 현황 20
• 3.5.1.1 IT/SW 융합제품 및 서비스 시스템 개발 추진 현황 20
• 3.5.1.2 현장 업무보고 UI 모듈 25
• 3.5.1.3 현장 작업 일지 에디터 UI 모듈 26
• 3.5.1.4 현장 작업스케쥴(진척도) UI 모듈 26
• 3.5.2 혼합현실 시각화 서비스 개발 28
• 3.5.2.1 증강현실 시각화 개발 28
• 3.5.2.2 증강현실(모바일) 디바이스 기술 구현 30
• 3.5.2.3 혼합현실(HMD) 디바이스 기술 구현 39
• Ⅳ. 혼합현실기반 지하매설물 현장 실증 및 최종 실증 성과 48
• 4.1 ◯◯뉴타운 현장실증 개요 48
• 4.1.1 사업개요 48
• 4.1.1.1 사업 범위 및 주요 서비스 내용 48
• 4.1.1.2 ◯◯뉴타운 스마트시티 지하매설물 관리시스템 과업 범위와 내용 49
• 4.1.1.3 지하매립매설물 실증 제품 및 서비스 50
• 4.1.1.4 산출물의 현장전용(도입) 현황 51
• 4.1.2 추진내용 52
• 4.1.2.1 계획대비 사업 추진실적 52
• 4.1.2.2 정량적 목표 및 최종 성과 53
• 4.1.3 주요실증 성과물 54
• 4.1.3.1 IT/SW 융합제품 및 서비스의 실증 세부 추진성과 54
• 4.1.3.2 실증 단계의 기술 성과물 64
• 4.1.3.3 IT/SW 융합제품 및 서비스의 실증 세부 추진현황 71
• 4.1.3.4 실증 제품의 기술성 실증과 산출물 및 실증 단계의 기술 성과물 99
• Ⅴ. 실증평가 103
• 5.1 실증평가 103
• 5.1.1 실증평가 개요 103
• 5.1.2 사업 범위 및 주요 서비스 내용 103
• 5.1.3 시험 및 검증 대상 103
• 5.1.3.1 통합관제 시스템 1식 103
• 5.1.3.2 혼합현실 앱 1식 104
• 5.1.4 현장근로자 중심의 혼합현실 기반 지하매립매설물 관제 시스템 구축 104
• 5.2 전문가 및 현장근로자 사용성 평가 요약 105
• 5.2.1 평가위원 추가 기대 요구사항 106
• 5.2.2 전문가 현장 근로자 만족도(설문 조사) 요약 108
• 5.2.2.1 [보통/그렇다] 응답 관련 내용 요약 109
• 5.2.2.2 10문 문항 답변 관련 109
• 5.2.3 실증 추진내용별 산출물 109
• 5.3 현장 적용 및 운용현황 112
• 5.3.1 IT/SW 융합제품 및 서비스 제품의 현장적용(실증) 112
• 5.3.1.1 현장 실증적용 순서 112
• 5.3.1.2 현장 운용현황 119
• Ⅵ. 자체평가 121
• 6.1 자체평가 121
• 6.1.1 사업추진의 적절성 121
• 6.1.1.1 사업 추진체계와 각 기관의 역할 및 성과 121
• 6.1.1.2 주요 결과물 및 성과표 121
• 6.1.1.3 국내 사업 추진 성과 122
• Ⅶ. 결 론 123
• 7.1 연구결과 123
• 7.2 연구의 한계점 124
• 7.3 향후 발전방향 및 의견제시 124
• 7.4 향후 연구과제 127
• 참고문헌 129
• Abstract 136