효율적인 피사계 심도 생성을 위한 두 가지 기법

서영선(Young-Seon Suh),임인성(Insung Ihm) 한국컴퓨터그래픽스학회 2008 컴퓨터그래픽스학회논문지 Vol.14 No.3

피사계 심도란 카메라에서 초점이 맞은 지점을 전후로 초점이 맞은 것과 유사한 선명도를 가지는 영역을 말한다. 이 영역을 벗어난 물체들은 아웃 포커싱 되어 흐릿하게 보이게 된다. 렌더링 한 이미지에 피사계 심도 효과를 내게 되면 그렇지 않은 이미지에 비해 훨씬 사실적인 영상을 얻을 수 있다. 렌더링에서 피사계 심도 효과를 내기 위한 기존 연구는 크게 두가지로 나눌 수 있다. 먼저 분산 광선 추적법은 한 픽셀에 대해 주어진 렌즈 영역을 샘플링 하는 방법이다. 이 방법은 샘플링 횟수가 많아질수록 노이즈가 없는 정확한 영상을 얻게 되지만 그러기 위해서는 시간이 매우 많이 걸린다. 반면 후처리 방법은 광선 추적법 등을 이용하여 얻은 핀홀 카메라 이미지와 깊이 정보를 이용하여 피사계 심도 효과를 내는 것인데 분산 광선 추적법 만큼 정확하지는 않지만 훨씬 빠른 속도로 유사한 결과를 얻을 수 있어 많은 연구가 진행되어 왔다. 그러나 후처리 방법은 핀홀 카메라에서 생성된 이미지만을 이용하므로 실제 렌즈에서 보이는 모든 정보를 알 수 없다는 한계가 존재한다. 본 논문에서는 이러한 두 가지 형태의 방법을 각각 발전시켜 후처리 기반 피사계 심도 계산의 정확도를 높이는 방법과 분산 광선 추적법의 계산 속도를 향상 시키는 방법을 제시한다. The depth of field is the range that the objects inside of this range treated to be focused. Objects that are placed out of this range are out of focus and become blurred. In computer graphics, generating depth of field effects gives a great reality to rendered images. The previous researches on the depth of field in computer graphics can be divided into two major categories. One of them is the distributed ray tracing that samples the lens area against each pixel. It is possible to obtain precise results without noise if enough number of samples are taken. However, to make a good result, a great number of samples are needed, resulting in an enormous timing requirement. The other approach is the method that approximates depth of field effect by post-processing an image and its depth values computed using a pin-hole camera. Though the second technique is not that physically correct like distributed ray tracing, many approaches which using this idea have been introduced because it is much faster than the firstapproach. But the post-processing have some limitations because of the lack of ray information. In this paper, we first present an improvement technique that corrects the previous post-processing methods and then propose another one that accelerates the distributed ray tracing by using a radiance caching method.

피사계심도 조절을 통한 비주얼 노블 시각 연출

최민재,김정윤 차세대컨버전스정보서비스학회 2021 디지털예술공학멀티미디어논문지 Vol.8 No.2

Visual novel is a game genre that aims to progress the story by adding visual and auditory elements and interaction according to the player's choice based on the story. The visual direction of the game focuses on enhancing the immersion of the story. The visual directing of the existing visual novels is merely supporting verbal expressions such as the text of the story, and some visual directings do not harmonize with the other components of the play screen, and conversely, hinder immersion. In addition, it is difficult to react dynamically as the story progresses. In this paper, the depth of field and the expression of charade are considered through films and applied to visual novels to overcome the limitations of existing visual directing. In the 3D game engine, the depth of field adjustment function is applied to the In Game camera, and the creator arbitrarily adjusts the depth of field and focus to create the scene. As a result, it is possible to dynamically create a scene according to the story without compromising harmony with other components. In addition, by shifting the focus at a shallow depth of field, it can naturally imply meaning in a specific image and express it as a charade. 비주얼 노블은 이야기를 중심으로 시각 및 청각 요소와 플레이어의 선택에 따른 인터랙션 요소를 가미하여 이야기 진행에 목적을 둔 게임 장르로 게임의 시각 연출은 이야기 몰입 증진에 초점을 두고 있다. 기존 비주얼 노블의 시각 연출은 이야기 텍스트와 같은 언어적 표현을 단순 보조하는 역할에 그치고 있으며, 일부 시각 연출은 플레이 화면의 타 구성 요소와 조화를 이루지 못해 반대로 몰입을 방해한다. 더해 이야기 진행에 따라 동적으로 반응하는데 어려움이 있다. 본 논문에서는 피사계심도와 셔레이드 표현을 영화를 통해 고찰하고, 비주얼 노블에 적용함으로써 기존 시각 연출의 한계를 극복하고자한다. 3D 게임 엔진에서 In Game 카메라에 피사계심도 조절 기능을 적용하고 제작자가 임의로 피사계심도 깊이와 초점을 조절하여 장면을 연출한다. 그 결과, 다른 구성 요소와의 조화를 해치지 않으면서 이야기에 따라 동적으로 장면을 연출할 수 있다. 또한 얕은 피사계심도에서 초점을 이동시켜 특정 이미지에 자연스럽게 의미를 내포하고 셔레이드로서 표현할 수 있다.

낮은 피사계 심도 영상에서 관심 물체의 효율적인 추출 방법

박정우(Jungwoo Park),이재호(Jaeho Lee),김창익(Changick Kim) 한국멀티미디어학회 2006 멀티미디어학회논문지 Vol.9 No.9

본 논문은 낮은 피사계 심도 영상(low depth-of-field image)에 대해 사용자의 도움 없이 포커스 된 관심 영역을 고속으로 추출하는 효율적인 방법을 제안한다. 우리는 입력 영상에 존재하는 고주파 성분을 HOS(higher order statistics) 계산을 함으로써 영상의 포커스 된 영역을 찾아내는 중요한 지표로 활용한다. 본 논문에서 제안하는 방법은 크게 4가지 단계로 구분할 수 있다. 첫 번째 단계에서는 기존 연구[1] 방법과 동일하게 모든 화소에 관해 HOS 지도를 계산하고 블록화한다. 두 번째 단계에서는 블록화 된 HOS를 이용하여 포커스 된 물체가 존재하는 후보 관심 영역을 대략적으로 구한다. 이후 관심 영역 내부에 존재하는 구멍(hole)을 제거하기 위해 구멍(hole) 추적 및 제거 연산을 수행한다. 마지막으로 최종 관심 후보 영역에서 배경 부분의 화소만 제거하여 포커스 된 관심 물체만을 섬세하게 추출한다. 제안하는 방법은 기존 방법[1]에 비해 정지 영상에서 고속으로 관심 영역을 추출하므로 추후 알고리즘의 변형 없이 낮은 피사계 심도의 동영상에 확장 적용하여 관심 영역을 실시간으로 추출할 수 있다. 본 논문에서 제안하는 방법은 가상 현실(VR)이나 실감 방송, 비디오 인덱싱 시스템과 같은 여러 응용 분야에 효과적으로 적용될 수 있고, 이러한 유용성은 실험 결과를 통해 보였다. This paper describes a novel and efficient algorithm, which extracts focused objects from still images with low depth-of-field (DOF). The algorithm unfolds into four modules. In the first module, a HOS map, in which the spatial distribution of the high-frequency components is represented, is obtained from an input low DOF image [1]. The second module finds OOI candidate by using characteristics of the HOS. Since it is possible to contain some holes in the region, the third module detects and fills them In order to obtain an OOI, the last module gets rid of background pixels in the OOI candidate. The experimental results show that the proposed method is highly useful in various applications, such as image indexing for content-based retrieval from huge amounts of image database, image analysis for digital cameras, and video analysis for virtual reality, immersive video system, photo-realistic video scene generation and video indexing system.

낮은 피사계 심도의 동영상에서 포커스 된 비디오 객체의 자동 검출

박정우(Jungwoo Park),김창익(Changick Kim) 한국정보과학회 2006 정보과학회논문지 : 소프트웨어 및 응용 Vol.33 No.10

영상을 낮은 피사계 심도로 찍는 카메라 기법은 전통적으로 널리 이용되는 영상 취득 기술이다. 이 방법을 사용하면 사진사가 사진이나 동영상을 찍을 때 영상의 관심 영역에만 포커스를 두어 선명하게 표현하고 나머지는 흐릿하게 함으로써 자신의 의도를 보는 이에게의 분명하게 전달 할 수 있다. 본 논문은 이러한 피사계 심도가 낮은 동영상 입력에 대하여 사용자의 도움 없이 포커스 된 비디오 객체를 추출하는 새로운 방법을 제안한다. 본 연구에서 제안하는 방법은 크게 두 모듈로 나뉜다. 첫 번째 모듈에서는 동영상의 첫 번째 프레임에 대해서 포커스 된 영역과 그렇지 않은 흐릿한 부분을 자동으로 구분하여 관심 물체만을 추출한다. 두 번째 모듈에서는 첫 번째 모듈에서 구한 관심 물체의 모델을 바탕으로 동영상 프레임에서의 관심 물체만을 실시간이나 실시간에 가깝게 추출한다. 본 논문에서 제안하는 방법은 가상현실(VR)이나 실감 방송, 비디오 인덱싱 시스템과 같은 여러 응용 분야에 효과적으로 적용될 수 있고, 이러한 유용성은 실험 결과를 통해 보였다. The paper proposes a novel unsupervised video object segmentation algorithm for image sequences with low depth-of-field (DOF), which is a popular photographic technique enabling to represent the intention of photographer by giving a clear focus only on an object-of-interest (OOI). The proposed algorithm largely consists of two modules. The first module automatically extracts OOIs from the first frame by separating sharply focused OOIs from other out-of-focused foreground or background objects. The second module tracks OOIs for the rest of the video sequence, aimed at running the system in real-time, or at least, semi-real-time. The experimental results indicate that the proposed algorithm provides an effective tool, which can be a basis of applications, such as video analysis for virtual reality, immersive video system, photo-realistic video scene generation and video indexing systems.

이청준의 「벌레이야기」와 이창동의 <밀양> 비교 고찰

김은경 한국현대문학회 2023 한국현대문학연구 Vol.- No.69

In this article, the original novel(Bug Story) and the film(Secret Sunshine) produced by adapting it are compared from an equal point of view. This paper conducted discussions on the spatiality of both works based on the concept of three-dimensional ‘depth’. In other words, the perspective of discussing the spatiality of the two works is placed on the same horizon. The second point, the discussion on the issue of emotion, develops on the basis of this discussion on spatiality. Therefore, it cannot be concluded that the results of these discussions converge to the genre differences between the two works. Chapter 2 reveals the aspect of representation through spatiality, a prominent difference between the two works. Section 2.1. focuses on the abstract spatiality of Bug Story. In order to prove this, the discussion began on the premise that the depth of space can be intuitively captured from the novel. From this point of view, it was revealed that Bug Story minimizes the depth of space like a close-up shot of a movie, and only "characters" are represented in a magnified mirror. Section 2.2. revealed that Secret Sunshine exposes the singularity of reproducing its specific spatiality not only visually but also audibly. First of all, Secret Sunshine specifically reproduces the character and the space occupied by the character through the depth of the field, allowing a glimpse of the correlation between the volume of the space occupied by the character and the intensity of the emotion felt by the character. In addition, what this paper paid great attention to is that the specific spatiality of the city called “Milyang” is acoustically reproduced in Secret Sunshine. The first half of Secret Sunshine reproduces the specific world of living with various sounds and embosses the inner feelings of the heroine who exists in it. Chapter 3 discusses that the theme consciousness (the relationship between ‘Humans’ and ‘Providence’) is realized differently within the two works through the problem of emotion, which is the essential common feature of the two works. Section 3.1. discussed that the emotion of the main character in Bug Story are ultimately subject-oriented. The wife, the main character, puts the Humans and Providence in an alternative relationship, and eventually chooses to extinguish Human in order not to betray Providence(God). Through this, I read the distance between Humans and Providence. Section 3.2. discussed that the emotion of the heroine is object-oriented in Secret Sunshine. This was revealed through the analysis of Secret Sunshine's filming techniques and ‘mise en scene’, and in the process, it was discussed that the film shows through the image aesthetics that the relationship between Humans and Providence is close and easy to crack. Through the above discussion, this paper compared two works of different genres in the equal horizon, and as a result, it was possible to reveal the uniqueness of each of the two works as a novel and as a movie. 이 글에서는 원작소설(「벌레이야기」)과 이를 각색하여 제작한 영화(<밀양>)를 대등한 관점에서 비교하고 있다. 이를 위해 두 작품의 결정적 차이점(공간성) 및 공통점(감정의 문제)에 주목하였다. 본고는 두 작품의 공간성에 대한 논의를 모두 3차원적 ‘심도’ 개념에 입각하여 진행하였다. 이와 같이 두 작품의 공간성을 논의하는 시각이 동일지평에 놓이기에 그 논의의 결과가 단순한 장르적 차이의 문제로 귀결된다고 보기 어렵다. 감정의 문제에 대한 논의는 이러한 공간성에 대한 논의의 바탕 위에서 전개되므로, 그 결과 또한 장르적 차이로 수렴한다고 단정할 수 없다. 2장에서는 두 작품의 두드러진 차이점인 공간성을 통해 재현의 양상을 밝히고 있다. 2.1.절에서는 「벌레이야기」의 공간이 추상적인 점에 주목, 이를 입증하기 위해, 소설에서도 ‘공간의 심도’를 직관적으로 간취할 수 있다는 점을 전제하고 들어간다. 이러한 시각에서, 「벌레이야기」가 영화의 근접촬영처럼 공간의 심도를 최소화한 가운데, ‘인물’만을 확대경적으로 재현하고 있다는 점을 밝혔다. 2.2.절에서는 <밀양>이 그 구체적인 공간성을 시각적으로뿐만 아니라 청각적으로 재현하는 특이점을 나타내고 있음을 밝혔다. 우선 시각적으로, <밀양>은 인물과 그 인물이 점유하는 공간을 피사계 심도를 통해 구체적으로 재현하는바 그 피사계 심도 조절을 통해 인물이 점유하는 공간의 부피와 인물이 느끼는 감정의 강도 간 상관관계를 엿볼 수 있도록 한다. 여기에 더하여 본고가 크게 주목한 바는 <밀양>에서 ‘밀양’이라는 도시의 구체적 공간성이 청각적으로 재현되고 있다는 것이다. <밀양>의 전반부는 다양한 소리들로써 구체적인 생활세계를 재현하고 그 안에 존재하는 여주인공의 내면(감정)을 양각한다. 3장에서는 두 작품의 본질적 공통점인 감정의 문제를 통해 그 주제의식(인간과 섭리의 관계)이 두 작품 내에서 상이하게 구현되고 있음을 논의하였다. 3.1.절에서는 「벌레이야기」의 주요인물이 갖는 감정이 궁극적으로 주체지향적임을 논하였다. 주요인물인 아내는 자아와 신을 양자택일의 관계에 두고, 결국 섭리(신)를 저버리지 않기 위해 자아(인간)를 소멸시키는 방법을 택하는바, 본고는 이를 통해 인간과 섭리 간 거리를 읽고 있다. 3.2.절에서는 <밀양>에서 인물(이신애)의 감정이 대상지향적임을 논의하였다. 영화의 촬영기법, 미장센 등에 대한 분석을 통해 이를 밝혔으며, 그 과정에서 <밀양>이 인간과 섭리 간 관계가 긴밀하면서도 균열이 가기 쉬운 것임을 그 영상미학을 통해 보여주고 있음을 논의하였다. 본고는 이상의 논의를 통해, 장르가 다른 두 작품을 대등한 지평에서 비교하였으며, 그 결과 두 작품이 각기 소설로서 그리고 영화로서 가지고 있는 독자성을 밝혀볼 수 있었다.

피사계 심도가 낯은 이미지에서 웨이블릿 기반의 자동 관심 영역 추출

박순화(Sun-Hwa Park),강기준(Sun-Hwa Park),서영건(Ki-Jun Kang),이부권(Yeong-Geon Seo) 한국컴퓨터정보학회 2009 한국컴퓨터정보학회 학술발표논문집 Vol.16 No.2

본 논문에서는 웨이블릿 변환 된 고주파 서브밴드들의 에지 정보를 이용하여 관심 객체 영역을 고속으로 자동 검출해주는 새로운 알고리즘을 제안하였다. 제안된 방법에서는 에지정보를 이용하여 블록단위의 4-방향 객체 윤곽 탐색 알고리즘(4-DOBS)을 수행하여 관심객체를 검출한다. 전체 이미지는 64×64 또는 32×32 크기의 코드 블록으로 먼저 나누어지고, 각 코드 블록 내에 에지들이 있는지 없는지에 따라 관심 코드블록 또는 배경이 된다. 4-방향은 바깥쪽에서 이미지의 중앙으로 탐색하여 접근하며, 피사계 심도가 낮은 이미지는 중앙으로 갈수록 에지가 발견된다는 특징을 이용한다. 기존 방법들의 문제점 이였던 복잡한 필터링 과정과 영역병합 문제로 인한 높은 계산도를 상당히 개선시킬 수 있었다. 또한 블록 단위의 처리로 인하여 실시간 처리를 요하는 응용에서도 적용 가능 하였다.

피사계 심도를 고려한 효율적인 이미지 추상화

김종현(Jong-Hyun Kim) 한국컴퓨터그래픽스학회 2018 컴퓨터그래픽스학회논문지 Vol.24 No.5

본 논문에서는 피사계 심도 (DoF, Depth of field)가 포함된 사진을 자동으로 추상화 시켜주는 비 사실적 렌더링 (NPR, Non-photorealistic rendering) 기술을 제안한다. 우리의 접근 방식은 RGB 채널을 이용하여 DoF 영역을 효율적으로 분류하고, DoF 크기에 따라 색상을 추상화하며, 라인의 두께를 자동으로 조절함으로 새롭게 필터링하는 기술이다. DoF기반 필터링 방식은 성능과 디자인 관점에서 추상화의 품질을 크게 개선시켰으며, 간단하고 빨라 구현하기 쉽고, 사진으로부터 추상화나 일러스트레이션을 제작할 때 원본 사진이 갖고 있는 DoF의 특징과 스타일을 효율적으로 잘 표현한다. In this paper, we present a non-photorealistic rendering technique that automatically delivers a stylized abstraction of a photograph with DoF(Depth of field). Our approach is a new filtering method that efficiently classifies DoF regions using RGB channels and automatically adjusts the color abstraction and extracted line quality based on this classification. This DoF-based filtering is simple, fast, and easy to implement and significantly improves the abstraction performance in terms of feature enhancement and stylization.

이미지의 피사계 심도를 빠르게 계산하기 위한 쿼드트리 기반의 합성곱 신경망 최적화

김동희(Donghui Kim),김수균(Soo-Kyun Kim),김종현(Jong-Hyun Kim) 한국컴퓨터정보학회 2021 한국컴퓨터정보학회 학술발표논문집 Vol.29 No.1

본 논문에서는 카메라의 포커싱과 아웃포커싱에 의해 이미지에서 뿌옇게 표현되는 DoF(Depth of field, 피사계 심도) 영역을 쿼드트리(Quadtree) 기반의 합성곱 신경망을 통해 빠르게 찾는 방법을 제안한다. 우리의 접근 방식은 RGB채널기반의 상호-상관 필터를 이용하여 DoF영역을 이미지로부터 효율적으로 분류하고, 적응형 트리인 쿼드트리를 기반으로 유의미한 영역만을 분류한다. 이 과정에서 손실 없이 온전하게 DoF영역을 추출하기 위한 필터링 과정을 거친다. 이러한 과정에서 얻어진 이미지 패치들은 전체 이미지에 비해 적은 영역으로 나타나며, 이 적은 개수의 패치들을 이용하여 네트워크 단계에서 사용할 이미지-DoF가중치 맵 데이터 쌍을 설정한다. 네트워크 과정에서 학습할 때 사용되는 데이터는 이미지와 상호-상관 필터 기반으로 추출된 DoF 가중치 맵을 이용한다. 본 논문에서 제안하는 쿼드트리 기반 합성곱 신경망은 이미지로부터 포커싱과 아웃포커싱된 DoF영역을 자동으로 추출하는 과정을 학습시키기 위해 사용된다. 결과적으로 학습에 필요한 데이터 영역이 줄어듦으로써 학습 시간과 메모리를 절약했으며, 테스트 결과로 얻은 DoF 가중치 이미지는 입력 이미지에서 DoF영역을 더욱더 빠른 시간 내에 찾아낸다.

입체영상 가시화를 위한 자동 피사계 심도 조절기법

강동수(Dong-Soo Kang),김양욱(Yangwook Kim),박준(Jun Park),신병석(Byeong-Seok Shin) 한국멀티미디어학회 2009 멀티미디어학회논문지 Vol.12 No.4

필름룩(Film Look) 적용을 통한 3D 애니메이션의 품질향상에 관한 연구

이석호(Lee, Sukho),한정완(Han, Jungwan) 한국전시산업융합연구원 2013 한국과학예술융합학회 Vol.12 No.-

애니메이션이 예술로부터 나와 상업콘텐츠가 되면서부터 애니메이션은 자본집중적인 산업의 하나였다. 오늘날 애니메이션의 의존도가 인력에서 컴퓨터 환경으로 옮겨가면서 새로운 형태의 애니메이션 제작형태를 찾을 수 있는 가능성이 많아졌다. 컴퓨터의 연산능력은 가파르게 향상되고 고품질의 렌더링 알고리즘은 하루가 다르게 개발되어가고 있다. 이로 인해 3D 그래픽스의 표현상의 한계는 점점 사라져 가고 있다. 다른 한편으로는 현대의 VDSLR 장치들에 의해 필름과 비디오의 시각적 느낌의 차이는 점점 사라지고 있고 ‘필름룩’을 구현하는 방법들이 활발하게 연구되어지고 있다. 이 연구에서는 ‘필름룩’의 프로세스를 3D 애니메이션에 적용하여 애니메이션의 품질을 높일 수 있는 방법에 대하여 연구를 진행하였다. 첫째로 기본적인 필름과 비디오의 차이점을 이론적, 기술적으로 조사하고 필름룩을 만드는 프로세스에 대하여 조사하였다. 다음으로 3D Studio MAX 와 Mental Ray를 바탕으로 모션블러와 피사계심도 효과를 구현할 수 있는 몇 가지 방법에 대하여 조사하였으며 이를 3D 애니메이션에 효과적으로 적용할 수 있도록 장단점을 분석하였다. Animation was one of the capital-intensive industry since it became a commercial content out of art. Today, there is many possibility to find new forms of animation production because of the animation production dependence is moving to computer environment from manpower. Arithmetic performance of computer improved rapidly and algorithms for high quality rendering developed day by day. And the limit of expression on 3D graphics is almost removed. On the other difference of visual feeling between film and video is become narrow by modern VDSLR(Video Digital Single Lens Reflection) type device. And the methods for making ‘film look’ studied lively. On this study I try to find efficient methods for improve the quality of 3D animation by adapt making ‘film look’ process. At first I study about theoretical and technical basement of different elements between film and video and study about filmizing process. Second I find several methods for making motion blur and DOF(Depth of field) effect on 3D graphics based on 3D Studio MAX and Mental Ray and analyze the pros and cons for efficient adaptation to 3D animation.