배경 영상을 이용한 시간 일관적 스케치 렌더링 = Temporal Coherent Sketch Rendering using Background Image

국문 초록 (Abstract)

비디오 영상 기반 스타일 렌더링은 이전 영상과 현재 영상 간의 프레임의 색상 및 형태 차이로 인해 발생하는 시간적 일관성 문제가 발생한다. 특히 전경보다는 배경 부분에서 영상이 왜곡되는 현상이 나타난다. 본 연구에서는 배경 영상에서 발생하는 플리커링 현상을 제거하여 시간적 일관성을 유지하기 위해 보정단계에서 배경 영상을 이용하여 원본영상을 보정하는 방법과 렌더링 단계에서 후처리 블러링 방법을 추가하였다. 먼저 보정 단계에서 캠을 통해 영상을 받아오고 원본 영상과 배경 영상 간의 프레임 차이를 이용하여 영상을 보정한다. 이렇게 보정된 영상을 렌더링 단계에서 회색음영 영상으로 바꿔주고 색상을 반전시킨다. 색상 반전된 영상은 양방향 알고리즘을 이용하여 블러링을 해준다. 이후 칼라 닷지 함수를 적용하여 스케치 효과를 주고 다시 한번 양방향 알고리즘을 이용하여 블러링을 해주어 최종 스케치 영상을 출력한다. 원본영상의 보정을 통해 전후프레임의 차이로 인해 발생하는 플리커링 현상을 완화시킬 수가 있으며 후처리 블러링을 통해 불필요한 잡음을 제거하여 스케치의 부드러운 선화를 표현할 수 있다. 제안된 방법은 실시간 스케치 렌더링에 적용이 가능하여 영상 및 게임 콘텐츠 제작 등에 다양하게 사용될 수 있다.

참고문헌 (Reference)

1 S. Takagi, "Volumetric modeling of colored pencil drawing" 250-258, 1999

2 S. Valentine, "The hidden power of blend modes in adobe photoshop" Adobe Press 2012

3 M. Salisbury, "Orientable textures for image-based pen-and-ink illustration" 401-406, 1997

4 M. C. Sousa, "Observational model of blenders and erasers in computer generated pencil rendering" 157-166, 1999

5 B. Gooch, "Non photorealistic rendering" A K Peters, Ltd 2001

6 K. Murakami, "Multiple illuminated paper textures for drawing strokes" 156-161, 2005

7 I. Kartika, "Frame differencing with post processing techniques for moving object detection in outdoor environment" 172-176, 2011

8 S. Yamamoto, "Enhanced LIC pencil filter" 251-256, 2004

9 H. Matsui, "Creating colored pencil images by drawing strokes based on boundaries of regions" 148-155, 2005

10 M. C. Sousa, "Computer-generated graphite pencil rendering of 3D polygonal models" 195-207, 1999

11 S. Yamamoto, "Colored pencil filter with custom colors" 329-338, 2004

12 C. Tomasi, "Bilateral filtering for gray and color images" 839-846, 1998

13 W. Zeng, "Automatic moving object extraction in MPEG video" 524-527, 2003

14 N. Li, "A feature- based pencil drawing method" 135-140, 2003

15 R. A. Haddad, "A class of fast gaussian binomial filters for speech and image processing" 39 : 723-727, 1991