카메라 보정 오류에 강건한 깊이맵 업샘플링 기술

국문 초록 (Abstract)

최근 비행시간 (Time-of-Flight TOF) 원리에 기반한 깊이 카메라의 등장과 함께 저해상도 깊이 카메라와 고해상도 컬러 카메라로 이루어진 복합형 카메라 시스템 (Fusion Camera System) 이 각광을 받고 있다. 복합형 카메라 시스템에서 취득한 저해상도 깊이맵을 컬러 영상과 같은 영상 평면 (Image Plane) 에 위치시키고 같은 해상도를 가질 수 있게 하려면 카메라 보정 및 3차원 투영 홀 (Hole) 채우기와 같은 일련의 전처리 과정이 필요하다. 그러나 전처리 과정을 거친 깊이맵은 깊이 카메라의 내부 특성 카메라 보정의 부정확성 등에 의해 많은 오차를 가진다. 그러므로 본 논문에서는 오차가 많은 상황에서도 강건하게 동작하는 깊이맵 업샘플링 방법을 제안한다. 먼저 전처리 과정을 통해 얻은 깊이 정보의 신뢰도를 컬러 영상과의 상관관계에 기반하여 측정한다. 그리고 낮은 신뢰도의 깊이 정보를 참조하지 않는 수정된 커널 회기법 (Kernel Regression)을 통해 깊이맵과 컬러 영상의 경계 정합을 수행하여 세밀한 깊이 표현이 가능한 고해상도 깊이맵을 형성한다. 제안하는 알고리즘은 깊이 정보의 신뢰도 정의와 그에 따른 참조를 통해 카메라 보정 결과가 부정확하더라도 높은 성능의 깊이맵 생성을 보장한다. 실험결과를 통해 기존의 깊이맵 업샘플링 기술보다 제안하는 방법이 더 정확한 깊이 정보를 제공하는 것을 확인할 수 있다.

다국어 초록 (Multilingual Abstract)

Recently fusion camera systems that consist of depth sensors and color cameras have been widely developed with the advent of a new type of sensor time-of-flight (TOF) depth sensor. The physical limitation of depth sensors usually generates low resolution images compared to corresponding color images. Therefore the pre-processing module such as camera calibration three dimensional warping and hole filling is necessary to generate the high resolution depth map that is placed in the image plane of the color image. However the result of the pre-processing step is usually inaccurate due to errors from the camera calibration and the depth measurement. Therefore in this paper we present a depth map upsampling method robust these errors. First the confidence of the measured depth value is estimated by the interrelation between the color image and the pre-upsampled depth map. Then the detailed depth map can be generated by the modified kernel regression method which exclude depth values having low confidence. Our proposed algorithm guarantees the high quality result in the presence of the camera calibration errors. Experimental comparison with other data fusion techniques shows the superiority of our proposed method.

목차 (Table of Contents)

• 요약
• Abstract
• Ⅰ. 서론
• Ⅱ. 제안하는 시스템
• Ⅳ. 실험 결과
• Ⅴ. 결론
• 참고문헌
• 저자소개

참고문헌 (Reference)

1 "http://www.middleburry.edu/stereo"

2 J. Zhu, "Spatial-Temporal Fusion for High Accuracy Depth Maps Using Dynamic MRFs" 32 (32): 899-909, 2010

3 Y. Qingxiong, "Spatial-Depth Super Resolution for Range Images" 1-8, 2007

4 A. Reimens, "Multi-step Joint Bilateral Depth Upsampling" 2009

5 J. Kopf, "Joint Bilateral Upsampling" 26 (26): 2007

6 SY. Kim, "Generation of ROI Enhanced Depth Maps Using Stereoscopic Cameras and a Depth Camera" 54 (54): 732-740, 2008

7 J. Zhu, "Fusion of Time-of-Flight Depth and Stereo for High Accuracy Depth Maps" 2008

8 E. Eisemann, "Flash Photography Enhancement via Intrinsic Relighting" 23 (23): 673-678, 2004

9 G. Petschnigg, "Digital Photography with Flash and No-Flash Image Pairs" 23 (23): 664-672, 2004

10 Y. Kim, "Design and Calibration of a Multi-view TOF Sensor Fusion System" 1-7, 2008

11 C. Fehn, "Depth-Image-Based Rendering (DIBR), Compression and Transmission for a New Approach on 3D-TV" 5291 : 93-104, 2004

12 "Camera calibration toolbox program for Matlab"

13 C. Tomasi, "Bilateral Filtering for Gray and Color Images" 836-846, 1998

14 J. Diebel, "An Application of Markov Random Fields to Range Sensing" 18 : 291-298, 2005

15 D. Chan, "A Noise-Aware Filter for Real-Time Depth Upsampling" 2008