대형 가상현실 시스템을 위한 볼류메트릭 비디오 취득 및 타일 기반 처리 기법

국문 초록 (Abstract)

본 논문은 차세대 실감 미디어 서비스를 실현하기 위해 6DoF(Degrees of Freedom) 볼류메트릭 비디오 취득 시스템과 대형 가상현실 환경에 최적화된 타일 기반 스트리밍 기법을 제안하고 이를 통합된 프레임워크로 구현하였다. 6DoF 볼류메트릭 비디오 취득 시스템의 구현을 위하여 다수의 깊이 카메라(Depth camera)로 구성된 멀티뷰 취득 환경을 구축하고, 취득된 프레임 간의 타임스탬프 동기화 및 정밀 캘리브레이션 프로세스를 정립한다. 이를 통해 취득 단계에서 발생하는 기하학적 오차와 색상 불일치를 최소화하였으며, MPEG-I MIV(MPEG Immersive Video) 표준 등 최신 몰입형 코덱과 호환 가능한 고품질의 MVD(Multiview Video plus Depth) 데이터를 생성함으로써 실사 기반 6DoF 서비스의 기반을 마련한다. 또한, 취득된 초고해상도 실감 미디어를 AlloSphere와 같은 대형 가상현실 공연장에서 효율적으로 재생하기 위해 타일 기반의 viewport-dependent 스트리밍 기술을 제안한다. 제안된 기법은 전체 영상을 서브픽처 단위로 타일링하고, 다중 프로젝터 시스템의 각 투사 영역에 필요한 서브픽처만을 선택적으로 스트리밍하여 제한된 네트워크 대역폭에서의 스트리밍 효율을 최대화한다. 구현된 대형 가상현실 시스템을 위한 타일 기반 viewport-dependent 스트리밍 기술의 성능 평가 결과, 기존 전송 방식 대비 약 80%의 대역폭 절감과 543%의 디코딩 속도 향상을 달성하였으며, 실제 대형 공연장 환경에서의 시연을 통해 시스템의 안정성과 실용성을 입증하였다.
본 논문은 고품질 볼류메트릭 비디오 콘텐츠의 생성부터 대형 시스템에서의 효율적인 서비스 제공에 이르는 전 과정을 포괄적으로 다룸으로써, 향후 대규모 6DoF 가상현실 시스템 상용화를 위한 핵심 기반 기술을 실증적으로 제시하였다는 데 의의가 있다.

다국어 초록 (Multilingual Abstract)

This dissertation presents an integrated framework that combines a 6 degrees of freedom (DoF) volumetric video acquisition system with a tile-based streaming technique optimized for large-scale virtual reality (VR) environments, thereby enabling key system-level technologies for next-generation immersive media services.
To realize high-quality 6DoF volumetric video acquisition, a multi-view capture environment composed of an array of depth cameras is constructed, along with precise camera calibration and timestamp synchronization across captured frames. These processes effectively reduce geometric distortions and color inconsistencies introduced during acquisition. Furthermore, the proposed pipeline generates high-fidelity Multiview Video plus Depth (MVD) data compatible with state-of-the-art immersive video codecs, including the MPEG-I MIV (MPEG Immersive Video) standard, providing a practical foundation for photorealistic 6DoF immersive experiences.
In addition, to efficiently deliver and render the acquired ultra-high-resolution immersive content in large-scale VR venues such as the AlloSphere, a tile-based, viewport-dependent streaming technique is proposed. By partitioning the video into subpicture units and selectively transmitting only the subpictures corresponding to each projection region in a multi-projector system, the proposed approach significantly improves streaming efficiency under constrained network and computational resources.
Comprehensive performance evaluations demonstrate that the proposed system achieves approximately an 80% reduction in bandwidth consumption and a 543% improvement in decoding speed compared to conventional non-tiled streaming approaches. The robustness and practical applicability of the framework are further validated through real-world demonstrations conducted in a large-scale immersive VR facility.
Overall, this work provides an end-to-end system that spans high-quality 6DoF volumetric video acquisition and efficient large-scale delivery, and empirically establishes core enabling technologies essential for the future deployment and commercialization of large-scale 6DoF VR systems.

목차 (Table of Contents)

• 제1장 서 론 1
• 제2장 관련연구 4
• 1. 대형 가상현실 시스템을 위한 볼류메트릭 비디오 취득 4
• 2. 타일 기반 볼류메트릭 비디오 처리 10
• 제3장 대형 가상현실 시스템을 위한 볼류메트릭 비디오 취득 및 타일 기반 처리 기법 22
• 1. 6DoF VR 위한 멀티뷰 카메라 비디오 취득 22
• 2. 대형 가상현실 공연장을 위한 타일 기반 비디오 스트리밍 33
• 제4장 구현된 프로토타입의 성능평가 47
• 제5장 결론 51
• 참 고 문 헌 53
• ABSTRACT 62