유연한 표면에 대한 동적 프로젝션 맵핑을 위한 적외선 마커 생성 방법 = Infrared Marker Generation Method for Dynamic Projection Mapping onto Flexible Surface

국문 초록 (Abstract)

최근 몇 년 동안 동적 프로젝터 기반 증강현실은 많은 주목을 받아 왔다. 본 논문에서는 자유도가 높은 변형 가능한 표면을 탐지하고 실시간으로 이미지를 투사하여 정합하는 기술을 제안한다. 현재 변형 가능한 물체에 대한 프로젝션 맵핑 기술은 빛의 영향과 미세한 음영 혹은 노이즈 문제로 마커인식 오류가 나타난다. 이로 인해 목표물과 투사 된 이미지 사이 정확히 정합을 못하는 문제가 발행한다. 따라서 마커 탐지 정확도가 전반적으로 시스템의 성능을 결정한다. 이를 위해, 본 논문에서는 마커의 특징을 높이고 미리 학습한 특징과 비교하며 분류하는 방법으로 마커 탐지 정확도를 높여 실제 산업에서도 적용할 수 있게 하기 위함이다. 우리는 구별이 명확한 4가지 패턴으로 이루어진 마커를 디자인하였다. 시간별로 변형 가능한 표면에 대한 인지를 목표로 하므로 패턴들을 꼭지점으로 하는 메쉬를 재구성하고, 재구성된 메쉬에 텍스쳐를 맵핑함으로써 3차원 표면 인지 문제를 2차원 메쉬 생성 문제로 재해석한다.

다국어 초록 (Multilingual Abstract)

In recent years, dynamic projector-based augmented reality has attracted much attention. In this paper, we propose a technique to detect deformable surfaces with high degrees of freedom and project images in real time. Projection mapping techniques for currently deformable objects have marker recognition errors due to light effects and microscopic shading or noise issues. This causes a problem that the target and the projected image can not be precisely matched. Thus, the accuracy of marker detection generally determines the performance of the system. In this paper, we aim to improve the accuracy of marker detection and to apply it in real industry by enhancing the characteristics of markers and comparing them with previously learned features. We designed a marker with four distinct patterns. To recognize the deformable surface over time, we reconstruct the meshes with vertices of the patterns and map the texture to the reconstructed meshes to reinterpret the 3D surface recognition problem as a two dimensional mesh generation problem.

목차 (Table of Contents)

• 1. 서론
• 2. 관련 연구
• 3. 마커 디자인
• 4. 실시간 프로젝션 맵핑 시스템
• 5. 시스템 구성
• 6. 결론

참고문헌 (Reference)

1 R.Raskar, "Shader Lamps: Animating Real Objects With Image-Based Illumination" Springer 89-102, 2001

2 Vincent Lepetit, "Randomized trees for real-time keypoint recognition" 2005

3 Ali O Ercan, "Object tracking in the presence of occlusions using multiple cameras: A sensor network approach" 9 (9): 2013

4 Yuichiro Fujimoto, "Geometrically-Correct Projection-Based Texture Mapping onto a Deformable Object" 20 (20): 540-549, 2014

5 Rosten, E., "Fusing points and lines for high performance tracking" 2005

6 Jurgen Steimle, "Flexpad: highly flexible bending interactions for projected handheld displays" ACM 237-246, 2013

7 J. Pilet, "Fast non-rigid surface detection, registration and realistic augmentation" 76 (76): 109-122, 2007

8 Gaku Narita, "Dynamic Projection Mapping onto Deforming Non-Rigid Surface Using Deformable Dot Cluster Marker" 23 (23): 1235-1247, 2017

9 V. Gay-Bellile, "Direct estimation of non rigid registrations with image-based self-occlusion reasoning" 32 (32): 87-104, 2010

10 V. Gay-Bellile, "Deformable surface aug mentation in spite of self-occlusions" 235-238, 2007

11 Robert Held, "3D puppetry: a kinect-based interface for 3D animation" 423-434, 2012