동적 환경 적용형 모델기반 카메라 추적

박한훈,미츠미네 히데키,후지 마사토,박종일 한양대학교 우리춤연구소 2009 우리춤과 과학기술 Vol.5 No.3

모델기반 카메라 추적은 마커를 사용하지 않는 방법이지만, 강건성, 유연성을 보장하기 때문에 많은 주목을 받아왔다. 대상 객체 혹은 장면의 정확한 3차원 그래픽 모델 및 대략적인 카메라 포즈가 주어졌을 때, 대략적인 카메라 포즈에 의해 투영된 모델을 카메라 영상에서 추출된 대상 객체 혹은 장면의 에지, 특징점과 같은 시각적 단서와 매칭시킴으로써 대략적인 카메라 포즈를 정확한 카메라 포즈로 갱신한다. 그러므로 카메라 영상은 많은 수의 특징적인 시각적 단서를 포함해야 하고, 대략적인 카메라 포즈는 실제 (대상) 카메라 포즈와 유사해야 한다. 그러나 이러한 요구사항은 실 환경에 서는 만족되기 어렵다. 더구나 대부분의 모델기반 카메라 추적 방법들은 정적인 장면 을 가정하지만, 실 환경에서 장면은 동적으로 변한다. 즉, 조명 환경이 자주 변하고, 객체들이 움직이거나 가려지며 새로운 객체가 나타나기도 한다. 그러므로 이러한 동 적인 환경에 적응적인 모델기반 카메라 추적 방법이 요구되는데, 이러한 방법을 제안 하는 것이 본 논문 내용의 핵심이다. 이를 위해 관련 요소 기술을 제안하고, 실 영상 및 합성 영상을 이용한 실험을 통해 제안된 방법을 정량적으로 평가한다. As a type of maker-less camera tracking, model-based camera tracking has received considerable attention due to its robustness and flexibility. Given an accurate and precise 3D graphic model of a target object/scene and a rough camera pose, it updates the rough camera pose to an accurate camera pose in such a way that the model projected by the rough camera pose is aligned in the camera image by tracking visual cues such as edges and feature points. For accuracy and reliability, therefore, the camera images illust include a number of reliable and distinctive visual cues and the rough camera pose illust be similar to the true (target) camera pose. However, these requirement are hard to satisfy in real-world situations. Furthermore, although most of existing model-based methods assume that the scene is static, the scene is not static in a real-world That is, lighting condition is often changed, objects are moving/occluded, and new objects show up, etc. Therefore, a model-based camera tracking method being adaptive to such dynamic real-world situations is strongly desired, which is our concern in this paper. We propose several component techniques required for conventional model-based camera tracking to be adaptive to dynamic environmnet. The techniques are quantitatively evaluated with real and synthetic images.

휴대형 지능형 프로젝션 시스템 개발

박한훈,서병국,진윤종,오지현,박종일 대한전자공학회 2007 電子工學會論文誌-SP (Signal processing) Vol.44 No.4

Intelligent projection system indicates a system that displays desired images on an arbitrary screen in an arbitrary environment using projector without noticeable image distortion. In recent years, projectors have become widespread and ubiquitous due to their increasing capabilities and declining cost. Moreover, the size of projectors is getting smaller and handheld projectors are emerging. Thanks to these advances, the demand for intelligent projection system has been significantly increased and the demand has led to remarkable progress of the related techniques or technologies to intelligent projection system. However, there are still some environments (or conditions, mainly dynamic ones) that intelligent projections systems cannot handle and they have limited the application area of intelligent projection systems. This paper exemplifies such environments (e.g. specular screen, dynamic screen) and propose effective solutions (i.e. multiple overlapping projectors, complementary pattern embedding) for them. And the usefulness of the solutions is verified through experimental results and user evaluation. Notice that the environments are considered not simultaneously but independently because it is impossible to consider them simultaneously by simply combining the solutions for each. Acually, a totally different solution would be necessary to consider them simultaneously. Therefore, we expect that the proposed methods would largely extend the application area of intelligent projection systems except for severely arbitrary environment. 지능형 프로젝션 시스템이란 임의의 환경에서 프로젝터를 이용하여 임의의 스크린에 영상을 왜곡없이 보여줄 수 있는 시스템을 말한다. 최근 프로젝터의 보편화로 인해 지능형 프로젝션 시스템에 대한 요구는 크게 증가했으며, 이러한 요구들은 지능형 프로젝션 시스템과 관련된 기술의 획기적인 발전을 가져왔다. 그러나, 여전히 지능형 프로젝션 시스템이 극복하지 못한 환경들(대부분 주어진 환경이나 시스템의 특성이 시간에 따라 변하는 것과 관련됨)이 존재하며, 이는 지능형 프로젝션 시스템들의 적용 범위를 크게 제약해왔다. 본 논문에서는 이러한 환경들 중에 대표적인 두 가지 예로 스크린에 전반사가 존재하는 경우와 스크린의 기하가 동적으로 변하는 경우에 대한 효과적인 해결책(다수의 중첩 프로젝터 시스템, 보색패턴 삽입) 및 실험 결과를 제공한다. 또한, 사용자분석을 통해 사용자 관점에서 제안된 방법들의 효용성을 검증한다. 단, 각 환경들은 독립적으로 다루어지며 모든 환경에 대해 동시에 적응하는 것에 대해서는 다루지 않는다. 이는 모든 환경들을 동시에 고려하기 위해서는 각 기술들을 단순히 조합하는 것으로는 불가능하며, 새로운 모델 및 기술이 개발되어야 하기 때문이다. 따라서, 지극히 일반적인 환경이 아니라면 본 논문에서 제안한 방법들을 이용함으로써 지능형 프로젝션 시스템의 응용 범위를 크게 확대할 수 있을 것으로 기대된다.

토폴로지 기반 특징 기술을 위한 특징 검출 방법의 성능 분석

박한훈,문광석,Park, Han-Hoon,Moon, Kwang-Seok 한국융합신호처리학회 2015 융합신호처리학회 논문지 (JISPS) Vol.16 No.2

텍스처가 부족한 장면이나 카메라 포즈 변화가 클 경우, 기존의 텍스처 기반의 특징 추적 방법의 신뢰도는 크게 떨어진다. LLAH와 같은 특징 사이의 기하 정보를 활용하는 토폴로지 기반 특징 기술 방법이 좋은 대안이 될 수 있으나, 특징 검출방법의 성능에 크게 영향을 받는다. 본 논문에서는 토폴로지 기반 특징 기술을 위한 효과적인 특징 검출 방법을 마련하기 위한 기초 연구로, OpenCV 라이브러리에서 제공되는 특징 검출 방법들의 반복성(repeatability) 분석을 통해 토폴로지 기반 특징 기술에의 적용 가능성을 살펴본다. 실험을 통해, FAST의 성능이 가장 우수함을 확인하였다. When the scene has less texture or when camera pose largely changes, the existing texture-based feature tracking methods are not reliable. Topology-based feature description methods, which use the geometric relationship between features such as LLAH, is a good alternative. However, they require feature detection methods with high performance. As a basic study on developing an effective feature detection method for topology-based feature description, this paper aims at examining their applicability to topology-based feature description by analyzing the repeatability of several feature detection methods that are included in the OpenCV library. Experimental results show that FAST outperforms the others.

페이지 마커를 이용한 텍스트 증강

박한훈,류호섭,문광석 에스케이텔레콤 (주) 2014 Telecommunications Review Vol.24 No.1

본 논문에서는 증강현실 기술의 가장 대표적인 응용인 증강현실 책을 구현함에 있어 미리 고안된 마커를 부착하거나 페이지 내의 특징점을 추적하지 않고, 각 페이지를 마커화하는 새로운 형태의 마커 기반 증강현실 방법을 제안한다. 제안하는 방법은 책의 내용(텍스트, 표, 그림 등)에 간단한 영상처리를 적용하여 각 페이지를 이진 마커로 변환하고, 이진 마커의 패턴을 분석하여 각 페이지를 분별한다. 제안하는 방법을 이용함으로써 약 75%의 인식률을 가지고 각 페이지를 분별할 수 있으며, 기존의 방법을 적용하기 힘든 텍스트 위주의 문서 및 서적에도 효과적인 마커 기반 증강현실 구현이 가능함을 확인하였다.

모델 기반 카메라 추적 기술 동향

박한훈,서병국,박종일 대한전자공학회 2012 전자공학회지 Vol.39 No.2

경계 조건값의 자동 설정에 기반한 효율적인 안개 제거 알고리즘

박한훈 에스케이텔레콤 (주) 2015 Telecommunications Review Vol.25 No.1

최근 Meng 등은 장면 투과도의 고유한 경계 조건을 유도하고 이를 활용한 효과적, 효율적인 안개 제거 알고리즘을제안하였다. 그러나, 경계 조건 값을 경험적, 고정적으로 설정함으로써 과소 또는 과대 개선되는 문제가 있었다. 이를해결하기 위해 본 논문에서는 안개 영상의 통계적인 분석을 통해 안개의 농도를 대략적으로 추정하고, 이를 기반으로경계 조건 값을 자동적, 적응적으로 설정하는 방법을 제안한다. 실험을 통해 제안된 방법은 과소 또는 과대 개선되는문제를 효과적으로 해결할 수 있음을 확인하였다.

Dark Channel Prior를 이용한 영상 블러 측정

박한훈,문광석,Park, Han-Hoon,Moon, Kwang-Seok 한국융합신호처리학회 2014 융합신호처리학회 논문지 (JISPS) Vol.15 No.3

Dark channel prior는 열화되지 않은 실외 영상의 경우 각 픽셀과 이웃 픽셀의 컬러 채널 중에 하나는 0에 가까운 값을 가진다는 것으로, 열화된 영상의 열화 정도를 추정하는 데 활용될 수 있다. 즉, 영상이 블러에 의해 열화되면 dark channel 값이 주변 픽셀과의 평균을 통해 증가하게 된다. 본 논문에서는 이러한 dark channel의 변화를 이용하여 영상블러의 세기를 측정하는 방법을 제안한다. 주어진 크기의 가우시안 블러와 수평 모션 블러를 삽입한 영상에 대한 실험을 통해 제안된 방법의 유용성을 검증한다. Dark channel prior means that, for undistorted outdoor images, at least one color channel of a pixel or its neighbors have values close to 0, and thus the prior can be used to estimate the amount of distortion for given distorted images. In other words, if an image is distorted by blur, its dark channel values are averaged with neighbor pixel values and thus increase. This paper proposes a method that estimates blur strengths by analyzing the variation of dark channel values caused by blur. Through experiments with images distorted by Gaussian and horizontal motion blur with given strengths, the usefulness of the proposed method is verified.

모델기반 카메라 추적 기술 구현의 어려움 및 해결 방안

박한훈,문광석 한양대학교 우리춤연구소 2013 우리춤과 과학기술 Vol.9 No.2

모델기반 카메라 추적 방법은 시각적 불편함을 초래하는 인위적인 마커(marker)를 사용하는 대신 기지의 장면(scene) 정보를 이용함으로써, 강건성(robustness)과 유연성(flexibility)을 함께 보장할 수 있다. 그러나 모델기반 카메라 추적 방법은 다음과 같은 선행 조건을 요구한다. 추정 대상인 카메라 포즈와 유사한 초기 카메라 포즈와 장면의 정확한 기하 및 색상 정보가 주어져야 하고, 카메라 영상은 많은 시각적 단서(강한 에지와 텍스쳐 정보)를 포함해야 한다. 그러나 이러한 요구 조건은 일반적인 실(real) 환경에서는 항상 만족되기 어렵다. 더구나 실 환경에서 장면은 정적(static)이지 않다. 즉, 조명 환경이 자주 변하고, 객체(object)들이 지역적으로 움직이거나 가려지며(occluded), 새로운 객체가 나타나기도 한다. 그러므로 본 논문에서는 앞서 말한 모델기반 카메라 추적 방법의 요구 조건을 완화하면서 동적인 환경에도 적응적인 모델기반 카메라 추적 방법을 모색한다. Since model-based camera tracking uses the information of a scene, it is more robust and flexible than marker-based one which is visually intrusive. However, the model-based camera tracking works based on the following prerequisite constraints: an initial pose that is close to the target camera pose is given, the given scene geometry and color should be precise, and the camera images should include a lot of visual cues (i.e., edges and feature points). The problem is that these constraints are not well-satisfied in real environments. Besides, the scene is not static. In other words, lighting condition often changes, objects locally moves and thus occlude each other, and new objects appear. Therefore, model-based camera tracking must be able to handle these scene changes. In this paper, we discuss how to alleviate the prerequisite constraints and adapt to the scene changes.

증강현실 요소기술과 동향 - 비전기반 추적 기술을 중심으로 -

박한훈,박종일,Park, Han-Hun,Park, Jong-Il 한국멀티미디어학회 2016 한국멀티미디어학회지 Vol.20 No.4

부분 해밍 거리의 순차적 분석을 통한 이진 특징 기술자의 고속 정합에 관한 연구

박한훈,문광석,Park, Hanhoon,Moon, Kwang-Seok 한국융합신호처리학회 2013 융합신호처리학회 논문지 (JISPS) Vol.14 No.4

최근, 이진 특징 기술자를 생성하는 방법에 대한 연구가 많이 진행되고 있다. 이진 특징 기술자의 정합은 비트 연산에 기반한 해밍거리를 이용하므로 실수 연산에 기반한 유클리디안 거리를 이용하는 기존의 일반적인 특징 기술자의 정합보다 훨씬 효율적이기 때문이다. 그러나, 특징 수의 증가는 정합 속도를 선형적으로 감소시키는 원인이 되기 때문에, 객체 추적과 같은 실시간 처리가 중요한 응용 분야에서는 이진 특징 기술자의 정합 속도를 더욱 향상시킬 수 있는 방법에 대한 요구가 증가해 왔다. 이에 본 논문에서는 고차원의 이진 특징 기술자를 여러 저차원의 이진 특징 기술자로 나누어 부분 해밍거리를 계산하고 순차적으로 분석함으로써, 정합 속도는 크게 개선하면서도 정확도는 유지할 수 있는 방법을 제안한다. 제안된 방법의 효율성을 분석하기 위해 기존의 정합 방법들과의 비교 실험을 수행한다. 아울러, 제안된 고속화 방법의 성능을 극대화하기 위한 이진 특징 기술자 생성 방법에 대해서도 논의한다. 몇가지 생성 방법에 대한 성능을 분석함으로써, 가장 효과적인 방법을 모색한다. Recently, researches for methods of generating binary feature descriptors have been actively done. Since matching of binary feature descriptors uses Hamming distance which is based on bit operations, it is much more efficient than that of previous general feature descriptors which uses Euclidean distance based on real number operations. However, since increase in the number of features linearly drops matching speed, in applications such as object tracking where real-time applicability is a must, there has been an increasing demand for methods of further improving the matching speed of binary feature descriptors. In this regard, this paper proposes a method that improves the matching speed greatly while maintaining the matching accuracy by splitting high dimensional binary feature descriptors to several low dimensional ones and sequentially analyzing their partial Hamming distances. To evaluate the efficiency of the proposed method, experiments of comparison with previous matching methods are conducted. In addition, this paper discusses schemes of generating binary feature descriptors for maximizing the performance of the proposed method. Based on the analysis on the performance of several generation schemes, we try to find out the most effective scheme.