패치 외삽을 이용한 효과적인 예제기반 영상 인페인팅

국문 초록 (Abstract)

영상 인페인팅(image inpainting)은 영상에서 훼손된 부분을 복원하거나 영상 내의 불필요한 문자나 특정 물체를 제거한 후 삭제된 영역을 자연스럽게 채우기 위해 널리 사용되는 기법이다. 예제기반 인페인팅은 비어있는 영역에서 어떤 부분부터 채울 것인지를 결정하는 패치 우선순위 결정과 결정된 패치를 어떤 패치로 채울 것인지 결정하는 패치탐색의 두 부분으로 구성되어 있다. 기존 예제기반 인페인팅에서는 패치내의 알고 있는 영역의 화소 값만을 이용하여 유사패치를 탐색한다. 이는 패치의 일부분만 이용하여 비교하게 되므로 비교 대상이 아닌 영역에 상관성이 없는 화소 값을 갖는 패치가 선택될 수 있다. 이를 개선하기 위해 본 논문에서는 패치외삽을 이용한 예제기반 인페인팅 방식을 제안한다. 제안 방식은 우선순위가 결정된 패치에 대해 패치 내 이미 알고 있는 영역의 화소 값을 이용하여 패치 내 비어있는 영역의 화소값을 외삽 방식으로 예측치를 구하여 채운 후 유사 패치를 탐색한다. 실험 결과를 통해 제안방식이 기존 예제기반 인페인팅 방식에 비해 자연스러운 결과 영상을 얻을 수 있음을 보여준다.

다국어 초록 (Multilingual Abstract)

Image inpainting is the widely used technique to restore a damaged region or to fill a hole in an image. The exemplar-based technique effectively generates new texture by copying colour values of the most correlated patch in the source into the empty region of the current patch. In traditional exemplar-based synthesis, the patch correlation is computed using only the already filled pixels of the current patch. Thus, by ignoring the correlation between the hole regions of the two patches, an undesirable patch which is highly correlated with the current patch in the already filled area but considerably dissimilar in the area to be filled can be selected, which results in bad texture propagation. To avoid such problems, a new exemplar-based inpainting method using patch extrapolation is proposed. The empty part of the current patch is extrapolated beforehand, and then the complete patch is used for finding its exemplar. Experimental results show that the proposed method provides more natural synthesis results than the conventional ones.

목차 (Table of Contents)

• 요약
• Abstract
• 1. 서론
• 2. 관련 연구
• 3. 제안된 방식
• 4. 실험 결과
• 5. 결론
• 참고문헌

참고문헌 (Reference)

1 Q. Chen, "“Image inpainting with improved exemplar-based approach,” Multimedia Content Analysis and Mining 2007" 4577 : 242-251, 2007

2 Jiri Grim, "Texture Oriented Image Inpainting based on Local Statistical Model" 2008

3 M. Kim, "Spatial error concealment method based on POCS with a correlation-based initial block" 1 (1): 134-140, 2007

4 M. Bertalmio, "Simultaneous Structure and Texture Image Inpainting" 12 (12): 882-889, 2003

5 D. K. Lee, "Robust exemplar-based inpainting algorithm using region segmentation" 58 : 553-561, 2012

6 A. Criminisi, "Region Filling and Object Removal by Exemplar-Based Image Inpainting" 13 (13): 1200-1212, 2004

7 Lin Liang, "Real-Time Texture Synthesis by Patch-Based Sampling" 20 (20): 127-150, 2001

8 M. Bertalmio, "Navier-stokes, Fluid Dynamics and Image and Video Inpainting" 355-362, 2001

9 M. Bertalmio, "Image Inpainting" 417-424, 2000

10 A. Telea, "An Image Inpainting Technique Based on the Fast Marching Method" 9 (9): 25-36, 2003

11 J. H. Choi, "An Exemplar-based Image Inpainting Method with Search Region Prior" 68-71, 2013

12 Ji-Ying Wu, "A Novel Exemplar-based Image Completion Model" 25 : 481-497, 2009

13 Alexander Wong, "A Nonlocal-Means Approach to Exemplar-based Inpainting" 2600-2603, 2008