디지털트윈 환경에서의 실감형 혼합현실 인터렉션 시스템 = A Immersive Mixed Reality Interaction System in Digital Twin Environment.

국문 초록 (Abstract)

디지털트윈 환경에서의 실감형 혼합현실 인터렉션 시스템

김 홍 대

지도교수 김 석 훈
배재대학교 대학원 전자상거래학과

가상현실(VR)과 혼합현실(MR) 기술은 최근 다양한 분야에서 몰입형 사용자 경험을 제공하는 핵심 인터페이스로 주목받고 있다. 특히 VR과 MR을 통합한 복합현실(Extended Reality, XR) 기반의 상호작용 환경에 대한 수요가 증가하고 있으나, 서로 다른 좌표체계 및 동기화 방식으로 인해 좌표 불일치, 반응 지연, 몰입감 저하 등의 문제가 발생하고 있다.

본 연구는 이러한 문제를 해결하기 위해 SLAM 신뢰도와 네트워크 지연을 통합적으로 고려한 적응형 가중 필터 기반의 통합 좌표계 동기화 알고리즘(Adaptive Weighted Fusion Synchronization Algorithm, A-WFSA)을 제안하였다. 제안된 알고리즘은 언센티드 칼만 필터(UKF)를 기반으로 VR-MR 간 변환 행렬을 상태 벡터로 정의하며, MR 장치의 SLAM 추적 품질을 동적으로 반영하는 적응형 가중치 로직과 네트워크 타임스탬프 기반의 실시간 지연 예측 모듈을 통합한 것이 특징이다.
성능 검증을 위해 Meta Quest 3와 외부 모션 캡처 시스템을 활용한 통합 실험 환경을 구축하고 , 제안된 A-WFSA를 기존의 비보정 방식(None), 선형 외삽법(LE), 그리고 정적 가중치 기반 UKF(S-UKF)와 비교 분석하였다 . 실험은 장시간 드리프트 누적, 동적 SLAM 신뢰도 변화, 네트워크 불안정성의 세 가지 시나리오로 구성되었다.

분석 결과, A-WFSA는 장시간 운용 시 누적 병진 오차를 S-UKF 대비 약 60% 이상 절감하며 압도적인 정확도를 보였다. 특히 SLAM 신뢰도가 급격히 하락하는 환경에서 적응형 가중치 로직을 통해 오차 확산을 효과적으로 억제하였으며, 네트워크 지터 상황에서도 2.1mm 수준의 낮은 지연 보상 잔차를 기록하며 실시간 동기화 안정성을 입증하였다. 또한, 이러한 시스템의 정밀도와 실시간성은 사용자 몰입감 및 만족도 향상에 유의미한 영향을 미치는 것으로 나타났다.

본 연구는 고가의 외부 장비 없이도 소프트웨어적 알고리즘만으로 이종 시스템 간의 시공간적 일관성을 확보할 수 있음을 실증적으로 규명하였다. 이는 향후 고정밀·저지연·고몰입형 복합현실 협업 환경 구현을 위한 핵심적인 기술적 방향성을 제시한다는 점에서 학문적 및 실용적 기여가 기대된다.

주요어: 가상현실(VR), 혼합현실(MR), 좌표체계(Coordinate System), 인터랙션(Interaction), 동기화(Synchronization)

다국어 초록 (Multilingual Abstract)

A Immersive Mixed Reality Interaction System in Digital Twin Environment.

Hong Dae Kim

Department of Electronic Commerce,
Graduate School of Paichai University
Daejeon, Korea
(supervise by Professor Seok-hoon Kim)


Virtual reality (VR) and mixed reality (MR) technologies have recently gained attention as key interfaces providing immersive user experiences across various fields. In particular, demand is increasing for interaction environments based on extended reality (XR), which integrates VR and MR. However, issues such as coordinate mismatches, response delays, and reduced immersion arise due to differing coordinate systems and synchronization methods.

This study proposes an Adaptive Weighted Fusion Synchronization Algorithm (A-WFSA) to address these issues by integrating SLAM reliability and network latency considerations. The proposed algorithm is based on an Unscented Kalman Filter (UKF), defining the VR-MR transformation matrix as the state vector. It integrates adaptive weighting logic that dynamically reflects the SLAM tracking quality of the MR device with a real-time delay prediction module based on network timestamps.

An integrated experimental environment utilizing Meta Quest 3 and an external motion capture system was established for performance verification. The proposed A-WFSA was compared and analyzed against the existing uncalibrated method (None), linear extrapolation (LE), and static weight-based UKF (S-UKF). The experiments comprised three scenarios: long-term drift accumulation, dynamic SLAM confidence variation, and network instability.

Analysis results show that A-WFSA demonstrated overwhelming accuracy, reducing cumulative translational error by over 60% compared to S-UKF during long-term operation. Particularly in environments where SLAM reliability sharply declines, it effectively suppressed error propagation through adaptive weighting logic. Even under network jitter conditions, it recorded a low latency compensation residual of 2.1mm, proving its real-time synchronization stability. Furthermore, the precision and real-time capability of this system were found to significantly enhance user immersion and satisfaction.

This study empirically demonstrated that spatiotemporal consistency between heterogeneous systems can be achieved solely through software algorithms without requiring expensive external equipment. This finding is expected to contribute both academically and practically by presenting a key technological direction for future implementations of high-precision, low-latency, and highly immersive mixed reality collaborative environments.

Keyword: Virtual Reality, Mixed Reality, Coordinate System, Interaction, Synchronization

목차 (Table of Contents)

• 제1장. 서 론·1
• 1. 연구의 배경 및 필요성 1
• 1) 확장 현실(XR) 기술 융합의 가치 증대 1
• 2) 실시간 공동 인터랙션의 필수 조건1
• 3) 이종 시스템 동기화의 기술적 난제 및 병목 2
• 2. 문제의 정의3
• 3. 연구 목표 및 방법론5
• 4. 논문의 주요 공헌 6
• 5. 연구의 범위 및 논문 구성7
• 제2장. 관련연구 9
• 1. SLAM 기반 좌표계의 드리프트 및 정합 기술9
• 1) SLAM의 개요 및 작동원리9
• 2) SLAM 드리프트 메커니즘과 기술적 한계11
• 3) 초기 공간 정합(Initial Spatial Registration) 기술의 원리 및 한계 ··14
• 2. 다중 사용자 협업 및 이종 시스템 Co-location 연구 동향21
• 1) 동일 유형 시스템의 Co-location21
• 2) 외부 트래킹 기반 안정화·22
• 3) 이종 센서 퓨전의 한계25
• 4) 다중 사용자 협업을 위한 Co-location 주요 사례26
• 3. 네트워크 기반 실시간 예측 및 상태 추정 필터·32
• 1) 지연 모델링 및 보상 32
• 2) 지연 모델링 및 보상 기술 연구 동향 33
• 3) 비적응형 필터의 문제점 38
• 4. 본 연구와의 차별성 (A-WFSA의 필요성)40
• 1) 이중 드리프트와 지연 문제의 통합 모델링40
• 2) SLAM 신뢰도 기반의 적응형 가중치 설계40
• 3) 실시간 변환 행렬 예측을 통한 지연 보상·41
• 제3장. 연구 방법론·42
• 1. 시스템 개요 및 아키텍처 42
• 1) 시스템 구성 요소 43
• 2) 데이터 흐름 및 처리 과정 46
• 2. 통합 좌표 변환 행렬 추정 및 상태 모델링49
• 1) 좌표 변환 행렬의 정의49
• 2) 상태 벡터(Xk​) 및 상태 공간 모델 정의·50
• 3. 적응형 가중치 로직 및 지연 예측 보상 52
• 1) SLAM 신뢰도 기반의 적응형 가중치 로직52
• 2) 네트워크 지연 보상을 위한 예측 모듈54
• 4. 동기화 프로토콜 및 통신 구조·55
• 1) 통신 아키텍처 및 방식55
• 2) 데이터 패킷 구조 및 콘텐츠56
• 3) 동기화 프로토콜 상세57
• 제4장. 구현 및 결과59
• 1. 실험 환경 구축 59
• 1) 하드웨어 구성59
• 2) 소프트웨어 구성 60
• 2. 평가 지표 및 실험 시나리오 60
• 1) 정략적 평가 지표 60
• 2) 비교 대상 알고리즘62
• 3) 실험 시나리오63
• 4) 질적 평가 설문 도구 및 문항 구성·64
• 3. 실험 결과 및 분석66
• 1) 시나리오1:장시간 드리프트 누적 테스트 결과 분석 66
• 2) 시나리오2:동적 SLAM 신뢰도 변화 테스트 결과 분석 67
• 3) 시나리오3:네트워크 불안정성 및 실시간성 테스트 결과 분석68
• 4) 결론 및 기술적 시사점 69
• 4. 종합 고찰 및 실감형 인터렉션 질적 평가70
• 1) 정밀도 및 실시간성 향상의 학술적 시사점70
• 2) 디지털 트윈 플랫폼의 실용적 가치 및 확장성 71
• 3) 실감형 인터랙션 질적 평가 결과 (Qualitative Evaluation) 71
• 4) 연구 성과의 종합 고찰 및 비교 분석 72
• 제5장. 결론 및 향후연구 74
• 1. 종합 결론 및 기술적 시사점 74
• 1) 통합적 불안정성 제어 메커니즘의 검증 74
• 2) 학술 및 산업 분야에 대한 기술적 시사점·75
• 2. 향후 연구·76
• 1) 필터링 모델의 수학적 고도화 및 강인성 강화76
• 2) 다중 사용자 및 이종 플랫폼 환경으로의 확장77
• 3) 고도화된 실험 환경 및 통합 응용 연구78
• 참고문헌80
• Abstract 86