동적 물체 추적 기반 실시간 3D 프로젝션 맵 상호작용 = Real-time 3D Projection Map Interaction based on Dynamic Object Tracking

국문 초록 (Abstract)

본 논문에서는 움직이는 물체 표면에 실시간으로 영상을 투사하고 3D 콘텐츠를 제어하는 프로젝션 맵핑 기반 상호작용 시스템을 제안한다.
동적 장면에서의 프로젝션 맵핑은 이동 표면의 인식 후 투사에 따른 시스템 지연 문제가 발생한다. 제안 기법은 깊이 카메라-프로젝터 보정을통해 왜곡을 보정하고 Kalman Filter, Hysteresis 기반 이중 경계기법을 통해 지연 문제를 해결하였다. 또한, 물체의 움직임을 추적함으로써 배경에표시되던 영상을 전경 패널로 전환하고 물체 동작에 따라 애니메이션 및 콘텐츠 흐름을 변화시킨다. 프로젝션 지연 시간은 수십 밀리초 수준이었으며‘Magic Cube’ 시범 콘텐츠를 통해 직관적인 상호작용과 높은 몰입감을 확인하였다.

다국어 초록 (Multilingual Abstract)

In this paper, we propose a projection mapping-based interactive system that projects images onto the surface of moving objectsin real time and controls 3D content. Projection mapping in dynamic scenes suffers from system latency due to the recognition of movingsurfaces and subsequent projection. The proposed technique compensates for distortion through depth camera-projector calibration andaddresses the latency issue through a Kalman filter and hysteresis-based double-edge technique. The proposed technique compensatesfor distortion through depth camera-projector compensation and tracks object movement, shifting images from the background to theforeground, and altering animation and content flow based on object movement. Projection latency was measured in tens of milliseconds,and intuitive interaction and high immersion were demonstrated through the "Magic Cube" demonstration content.