Stereo Matching under Occlusion, Noise, and Radiometric Variation

다국어 초록 (Multilingual Abstract)

In this dissertation, robust cost functions for stereo matching are proposed to deal with occlusion, noise, and radiometric variation problems. Then, an efficient temporal data cost is presented for a real-time spatiotemporal stereo matching. A self-guided cost aggregation is introduced to remove the dependency of a guidance image.

First, this research introduces a joint iterative anaglyph stereo matching and colorization framework for obtaining a set of disparity maps and colorized images. Conventional stereo matching algorithms fail when addressing anaglyph images that do not have similar intensities on their two respective view images (radiometric variation). To resolve this problem, two novel data costs using local color prior and reverse intensity distribution factor are proposed for obtaining accurate depth maps. To colorize an anaglyph image, each pixel in non-occluded regions is warped to another view using the obtained disparity value. A colorization algorithm using least square optimization is then employed with additional constraint to colorize the remaining occluded regions. Experimental results confirm that the proposed unified framework is robust and produces accurate depth maps and colorized stereo images. The generated depth map and color image for Teddy data obtains 7.24% bad pixels and 31.47 PSNR value which are the best among others.

Second, a light field depth estimation method that is more robust against occlusion and less sensitive to noise is introduced. Two novel data costs are proposed, which are measured using the angular patch and refocus image, respectively. The constrained angular entropy cost (CAE) reduces the effect of the dominant occluder and noise in the angular patch. The constrained adaptive defocus cost (CAD) provides a low cost in the occlusion region, while maintaining robustness against noise. Integrating the two data costs is shown to significantly improve the occlusion and noise invariant capability. Cost volume filtering and graph cut optimization are applied to improve the accuracy of the depth map. Experimental results confirm the robustness of the proposed method and demonstrate its ability to produce high-quality depth maps from a range of scenes. The proposed method outperforms other state-of-the-art light field depth estimation methods in both qualitative and quantitative evaluations. The average mean square error among the light field dataset is 0.0075 which is the smallest error among others.

Third, a novel Kinect-stereo camera fusion is presented to obtain a spatiotemporal consistent depth map video. Kinect and stereo camera suffers from inaccurate or missing depth information. To solve such problems, the proposed system builds a fusion camera that combines Kinect depth camera and stereo RGB camera. Both depth and disparity maps are efficiently integrated in a spatiotemporal MRF optimization function on a GPU. A novel temporal data cost is proposed to perform efficient depth map estimation while preserving the temporal coherency. Experimental results confirm that the proposed method is efficient, robust and accurate on challenging real-world data. The average temporal error of the proposed method in a dataset is 3.12%.

Finally, a deep self-guided cost aggregation method is presented used to obtain an accurate disparity map from a pair of stereo images. Conventional cost aggregation methods typically perform joint image filtering on each cost volume slice. Thus, a guidance image is necessary for the conventional methods to work effectively. However, a guidance image might be unreliable due to several distortions, such as noise, blur, radiometric variation.
To solve this problem, an advanced deep learning technique is used to perform self-guided cost aggregation. Because of the absence of ground truth cost volume, the solution for the dataset generation is offered. The proposed deep learning network consists of two sub-networks: dynamic weight network and descending filtering network. The feature reconstruction loss and the pixelwise mean square loss function are integrated to preserve the edge property. Experimental results show that the proposed method achieves better results even though it does not employ a guidance image. The average bad pixels percentage of Middlebury benchmark dataset is 17.06%.

In conclusion, this dissertation focuses on developing robust data costs for various problems in conventional stereo matching, such as occlusion, noise, radiometric variation, temporal consistency, etc. Each data cost is designed based on the observation of each input image type.
To handle the radiometric variation, it utilizes anaglyph image that represents a stereo image with large radiometric variation. Light field image is utilized to solve occlusion and noise problems because it contains lots of information of the corresponding pixels. Kinect depth is integrated with the stereo disparity map to handle difficult region, such as repetitive pattern. Then, temporal data cost is designed to achieve real-time performance in video stereo matching.
By utilizing the deep learning, the proposed cost aggregation method can utilize the input cost volume slice as the guidance. Therefore, the performance of cost aggregation is not affected by the input color image that may unreliable due to occlusion, noise or radiometric variation.

국문 초록 (Abstract)

본 논문에서는 스테레오 정합을 위한 폐색(occlusion), 잡음(noise)과 조명 변화(radiometric variation)에 강인한 다양한 비용함수와 실 시간의 시 공간적 정합을 위한 정보 비용 함수 및 가이드 영상에 독립적인 자기유도 비용 정합 기법을 제안한다.

먼저 애너글리프(anaglyph) 영상에서 깊이 영상 및 3채널 컬러영상의 동시 복원 기법을 제안한다. 애너글리프 스테레오 영상의 좌, 우 영상은 각각 R 채널과 G, B 채널만을 취득하기 때문에 기존의 RGB 영상 기반의 스테레오 정합 기법을 해당 연구의 문제에 활용하기 힘들다. 따라서 본 논문에서는 새로운 지역적 컬러 사전 정보(local color prior)와 역밝기 분포(reverse intensity distribution)에 기반한 새로운 스테레오 정합 비용 함수를 제안한다. 제안하는 기법은 비폐색(non-occluded) 지역에 대하여 추정한 차이 영상을 기반으로 손실된 좌우 영상의 컬러 정보를 상호 보간하며 폐색 지역에서는 추가적인 제한조건을 이용한 최적화 과정을 통해 영상의 컬러화를 수행한다. 실험 결과를 통해 다양한 애너글리프 영상에 대하여 높은 품질의 깊이 영상과 향상된 PSNR의 컬러 영상 복원 성능을 확인한다. Teddy 데이터에 대하여 7.24\%의 오차율 및 31.47의 PSNR의 정량적 결과를 취득하여 기존 기법 대비 최고 성능을 나타난다.

두번째로 폐색과 잡음에 강인한 라이트필드(light field) 깊이 영상 추정 기법을 제안한다. 제안하는 기법에서는 두 가지의 새로운 데이터 비용이 고안되었으며 이는 각 패치(angular patch)와 라이트 필드 영상 재초점 기법을 이용하여 측정한다. 먼저 constrained angular entropy (CAE)는 각 패치의 잡음과 폐색에 대한 낮은 비용 결과를 통해 그 영향을 최소화하며 constraint adaptive defocus (CAD) 비용은 잡음에 강건함을 유지하면서 폐색 부분에 낮은 비용을 제공한다. 이러한 제안하는 두 가지 데이터 비용의 통합을 통해 제안하는 기법은 폐색과 잡음에 강인한 깊이 영상을 복원한다. 나아가 비용 볼륨 필터링(cost volume filtering)과 그래프 컷(graph cut) 최적화를 통해 복원한 깊이 영상의 정확성을 개선한다. 실험 결과를 통해 다양한 라이트 필드 영상으로부터 기존의 라이트필드 깊이 추정 기법과 정성적 및 정량적 비교를 통해 제안하는 기법의 뛰어난 성능을 확인한다. 다양한 라이트필드 데이터에 대하여 0.0075의 평균 제곱근 오차 값을 취득하여 기존 기법 대비 최고 성능을 나타난다.

세번째로 Kinect와 스테레오 카메라의 융합 카메라를 이용하여 기존의 Kinect와 스테레오 카메라의 손실 및 부정확한 깊이 정보의 한계를 극복하는 새로운 기법을 제안한다. 제안하는 기법은 단일 Kinect 카메라에 추가적인 Kinect RGB 카메라를 병합하며 스테레오 Kinect RGB 카메라를 구성한다. 이를 기반으로 제안하는 시공간 MRF 구조의 시간적 정보를 고려한 정보 비용 함수를 이용하여 Kinect와 스테레오 카메라 기반의 기법들의 단점과 시간적 플리커(flicker)를 보완하고 GPU를 이용한 시공간 markov random field(MRF) 병렬 최적화를 통해 시 공간상의 높은 정확도의 깊이 영상을 생성한다. 정량적 평가를 통한 제안하는 기법의 평균 오차율은 3.12\%을 나타난다.

마지막으로 정교한 시차 영상 복원을 위해 스테레오 영상 기반의 자기유도 비용 정합 기법을 제안한다. 기존의 비용 정합 기법은 각 비용 부피 부분(cost volume slice)에 대하여 가이드 영상 기반의 결합 영상 필터링을 통한 보정 단계를 요구한다. 그러나 가이드 영상 없이 각 비용 부피 부분 특징의 자가 가이드 특성을 이용한 연구는 이뤄지지 않고 있다. 따라서 본 연구는 이러한 자가 가이드 특성을 기반으로 한 보정된 비용 부피의 맵핑 함수를 학습하는 딥러닝 기반의 새로운 비용 정합 기법과 이를 학습하기 위한 정확한 비용 부피를 만드는 기법을 함께 제안한다. 제안하는 딥러닝 네트워크는 유동 가중치 네트워크(dynamic weight network)와 하향 필터링 네트워크(descending filtering network)로 이뤄지며 비용 부피 부분 특징의 재구성 손실 함수와 평균 제곱 손실 함수를 이용한 학습과정을 통해 시차 영상의 엣지(edge) 보존 특성을 유지한다. 실험 결과를 통해 가이드 영상 기반의 기존 기법에 비해 제안하는 기법의 성능의 우수성을 검증한다. Middlebury 데이터셋에 대하여 제안하는 기법의 평균 오차율은 17.06\%로 나타난다.

결론적으로 본 논문에서는 조명 변화, 잡음 및 폐색 등의 다양한 스테레오 정합 문제에 강인한 정보 비용 함수를 제안한다. 제안하는 각각의 정보 비용 함수는 각 입력 영상의 취득 환경에 고안되어 설계한다(조명 변화의 경우 조명 변화에 취약한 애너글리프 영상, 잡음 및 폐색 문제의 경우 다양한 영상 정보 취득에 용이한 라이트필드 영상을 이용). 반복적인 패턴 영역에 나타나는 Kinect 깊이 정보의 부 정확성 보정 및 실시간 처리를 위한 스테레오 영상의 깊이 정보 기반의 시간 정보 비용 함수를 제안한다. 마지막으로 딥러닝 기반의 비용 부피 부분의 특성을 학습하는 새로운 비용 정합 기법을 제안하여 잡음, 조명 변화 등에 민감한 가이드 영상에 의한 문제를 해결한다.

목차 (Table of Contents)

• 1 Introduction 1
• 1.1 Stereo Matching in Computer Vision 1
• 1.2 Background and Problem Definition 4
• 1.2.1 Anaglyph Stereo Matching and Colorization 4
• 1.2.2 Occlusion-Noise Aware Light Field Stereo Matching 6
• 1.2.3 Stereo Matching for Kinect-Stereo Camera Fusion 8
• 1.2.4 Deep Self-Guided Cost Aggregation for Stereo Matching 8
• 1.3 Dissertation Outline 10
• 2 Related Works 13
• 2.1 Anaglyph Stereo Matching and Colorization 13
• 2.2 Occlusion-Noise Aware Light Field Stereo Matching 15
• 2.3 Stereo Matching for Kinect-Stereo Camera Fusion 19
• 2.4 Deep Self-Guided Cost Aggregation for Stereo Matching 21
• 3 Anaglyph Stereo Matching and Colorization 25
• 3.1 Anaglyph Stereo Matching 26
• 3.1.1 Adaptive Data Cost using Local Color Prior 27
• 3.1.2 Reverse Intensity Distribution using Modified Census Data Cost 32
• 3.1.3 Segmentation-based Plane Fitting Data Cost 34
• 3.1.4 Data Cost Integration 35
• 3.2 Anaglyph Colorization 36
• 3.3 Experimental Results 37
• 3.3.1 Anaglyph Stereo Matching Evaluation 38
• 3.3.2 Anaglyph Colorization Evaluation 41
• 3.3.3 Limitation and Failure Case 44
• 4 Occlusion-Noise Aware Light Field Stereo Matching 47
• 4.1 Proposed Method 49
• 4.1.1 Light Field Image 49
• 4.1.2 Light Field Stereo Matching 51
• 4.1.3 Constrained Angular Entropy Cost (CAE) 52
• 4.1.4 Constrained Adaptive Defocus Cost (CAD) 57
• 4.1.5 Data Cost Integration 61
• 4.2 Experimental Results 63
• 4.2.1 Synthetic Light Fields 65
• 4.2.2 Real Light Fields 69
• 4.2.3 Limitation and Future Works 77
• 5 Stereo Matching for Kinect-Stereo Camera Fusion 79
• 5.1 Kinect-Stereo Camera Fusion 80
• 5.2 Spatiotemporal MRF Framework 81
• 5.2.1 Overview 81
• 5.2.2 MRF Formulation 82
• 5.3 Parallelizing Hierarchical Belief Propagation on GPU 85
• 5.4 Experimental Results 86
• 5.4.1 Qualitative Evaluation 86
• 5.4.2 Quantitative Evaluation 90
• 6 Deep Self-Guided Cost Aggregation for Stereo Matching 93
• 6.1 Proposed Method 94
• 6.1.1 Stereo Matching 94
• 6.1.2 Deep Neural Network Architecture 96
• 6.1.3 Dataset Generation 100
• 6.1.4 Trained Feature Maps 101
• 6.2 Experimental Results 103
• 6.3 Limitation 112
• 7 Conclusion 113