효과적인 평면 호모그래피 추정을 위한 CS-RANSAC 기반의 특징점 필터링 방법

김대우 ( Dae Woo Kim ),윤의녕 ( Ui Nyoung Yoon ),조근식 ( Geun Sik Jo ) 한국정보처리학회 2016 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.5 No.6

증강현실 분야에서 호모그래피(Homography)를 이용한 비마커 기반의 객체 추적 기술(Markerless tracking)은 카메라의 방향, 위치를 파악하여 실세계의 영상에 가상의 객체를 정확하고 자연스럽게 증강할 수 있는 기술이다. 이와 같은 호모그래피를 추정하기 위한 방법으로 RANSAC 알고리즘이 많이 사용되고 있으며, 최근 기존의 RANSAC 알고리즘에 제약 조건 문제(Constraint Satisfaction Problem)를 적용하여 정확도를 향상시키고, 처리시간을 줄인 CS-RANSAC 알고리즘에 대한 연구가 진행되고 있다. 하지만 CS-RANSAC 알고리즘은 샘플링 단계에서 정확도 가 낮은 호모그래피를 추정하게 하는 특징점이 선택되어 불필요한 연산으로 인해 알고리즘의 효율성이 저하되는 경우가 있다. 따라서 본 논문 에서는 효과적인 평면 호모그래피 추정을 위한 CS-RANSAC 기반의 특징점 필터링 방법을 제안한다. 제안하는 방법은 호모그래피 평가 단계에서 Symmetric Transfer Error로 정확도가 높은 호모그래피를 추정하게 하는 특징점인지를 평가하고 불필요한 특징점들을 다음 샘플링 단계에서 제외함으로써 정확도를 향상키고 처리시간을 줄였다. 제안하는 CS-RANSAC 기반의 특징점 필터링 방법의 성능평가를 위하여 제안하는 방법을 적용한 알고리즘과 기존의 RANSAC 알고리즘, CS-RANSAC 알고리즘의 수행시간과 오차율(Symmetric Transfer Error), 참정보 포함 비율을 비교하였다. 실험 결과 본 논문에서 제안한 방법이 기존 CS-RANSAC 알고리즘보다 수행시간이 평균적으로 약 5% 단축되었고 오차율 은 약 14% 줄어들어 더욱 정확한 호모그래피를 추정 할 수 있게 되었다. Markerless tracking for augmented reality using Homography can augment virtual objects correctly and naturally on live view of real-world environment by using correct pose and direction of camera. The RANSAC algorithm is widely used for estimating Homography. CS-RANSAC algorithm is one of the novel algorithm which cooperates a constraint satisfaction problem(CSP) into RANSAC algorithm for increasing accuracy and decreasing processing time. However, CS-RANSAC algorithm can be degraded performance of calculating Homography that is caused by selecting feature points which estimate low accuracy Homography in the sampling step. In this paper, we propose feature point filtering method based on CS-RANSAC for efficient planar Homography estimating the proposed algorithm evaluate which feature points estimate high accuracy Homography for removing unnecessary feature point from the next sampling step using Symmetric Transfer Error to increase accuracy and decrease processing time. To evaluate our proposed method we have compared our algorithm with the bagic CS-RANSAC algorithm, and basic RANSAC algorithm in terms of processing time, error rate(Symmetric Transfer Error), and inlier rate. The experiment shows that the proposed method produces 5% decrease in processing time, 14% decrease in Symmetric Transfer Error, and higher accurate homography by comparing the basic CS-RANSAC algorithm.

효율적인 호모그래피 추정을 통한 파노라마 영상 생성

서상원(Sangwon Seo),정수웅(Soowoong Joeng),한윤상(Yunsang Han),최종수(Jongsoo Choi),이상근(Sangkeun Lee) 대한전자공학회 2013 전자공학회논문지 Vol.50 No.8

본 논문에서는 고해상도 영상에서 호모그래피를 효율적으로 추정하는 방법을 제안하였다. 호모그래피를 정확하게 추정하는 것은 영상 정합 기술에서 가장 중요한 부분이다. 하드웨어의 급속한 발전으로 고해상도 영상을 쉽게 취득 할 수 있게 되었지만, 데이터의 크기가 증가함에 따라 정확한 일치관계를 추정하는데 많은 계산량이 요구되었다. 또한, 고해상도의 영상에서 확률적으로 부정확한 호모그래피가 추정되는 문제가 발생하였다. 따라서 우리는 원 영상을 각 스케일별로 다운 샘플링한 다수의 영상을 생성하여 각 다운 샘플링된 영상에 해당하는 호모그래피를 추정한 후 투영 오차가 가장 작은 것을 선택하여 원 영상에 적용할 수 있게 보정할 수 있는 방법을 제안하였다. 또한, 영상을 정합하는 과정에서 기준 영상과 대상 영상의 색상 톤의 차이가 큰 경우에는 중첩영역의 지역 정보만을 이용하여 기준 영상과 대상 영상의 색상 톤을 일치시키는 방법을 제안하였다. 실험 결과 기존의 방법보다 3.2M 픽셀의 해상도 영상에서 약 3배, 8M 픽셀의 해상도 영상에서 약 5배 이상 빠른 결과를 얻을 수 있음을 확인하였다. 이는 입력 영상의 해상도가 커질수록 제안한 방법의 효과가 더 커진다는 것을 보여준다. An efficient homography estimation method for large sized images is proposed. Estimating an accurate homography is one of the most important parts in image stitching processes. Since hardwares have been advanced, it has been passible to take higher resolution images. However, computational cost for estimating homography has been also increased. Specifically, when too many features exist in the images, it requires lots of computations to estimate a correct homography. Furthermore, there is a high probability of obtaining an incorrect homography. Therefore, we propose a numerical method to extract the appropriate correspondences from several down-scaled images to estimate and compensate the homography numerically for restoring an original homography. Also, if there is an unbalance in color tone between the reference and the target images, we make them balanced by using local information of the overlapped regions. Experimental results show that proposed method is three times faster in 3.2 mega pixel images, five times faster in 8mega pixel images than the conventional approach. Therefore, we believe that the proposed method can be a useful tool to efficiently estimate a homography.

평면 호모그래피 정확도 향상을 위한 제약만족문제(Constraint Satisfaction Problem) 기반의 RANSAC 알고리즘

장철희(Chol-Hee Jang),이기성(Kee-Sung Lee),조근식(Geun-Sik Jo) 한국정보과학회 2012 정보과학회논문지 : 소프트웨어 및 응용 Vol.39 No.11

이미지 기반의 증강현실 시스템에서 저작된 가상의 객체를 실영상에 이질감 없이 정확한 위치에 증강하기 위해서는 실영상에서 표시될 가상객체의 정확한 방향과 위치에 대한 추정이 중요하며, 본 논문에서는 이를 위한 방법으로 저작 시 사용된 대상(Target)에 대한 이미지와 카메라로부터 들어오는 실영상 이미지 사이의 평면 호모그래피를 이용하여 카메라 자세를 추정하기 위해 RANSAC 알고리즘을 사용하였다. 그러나 RANSAC 알고리즘의 랜덤 샘플링 과정에서 선택되는 특징점들이 선형을 이루거나 특정 영역에 군집을 이루는 경우 정확한 호모그래피를 추정할 수 없고, 이러한 샘플들로 인해 불필요한 호모그래피 추정 및 평가과정을 수행함으로서 RANSAC 알고리즘의 효율성이 저하되는 문제가 존재한다. 따라서 본 논문에서는 RANSAC 알고리즘의 랜덤 샘플링으로 인해 발생하는 특징점들의 분포가 선형, 특정 영역에 군집을 이루어 발생하는 문제를 해결하기 위해서 CSP기반의 RANSAC 알고리즘을 제안한다. 제안하는 CSP 기반의 RANSAC 알고리즘의 성능평가를 위해서 랜덤 샘플링, 삼각형의 넓이를 이용한 샘플링을 수행하는 RANSAC 알고리즘과 제안하는 알고리즘을 통해 추정된 호모그래피를 비교 평가하여 평균적으로 11% 향상된 정확도를 보이는 것으로 확인되었다. In this paper, we have proposed a new solution for camera pose estimation in image-based augmented reality system. Estimating the correct pose of virtual objects on the camera view efficiently and effectively is one of the most important issues in image tracking. Traditionally in computer vision, camera pose can be estimated by homography. The RANSAC algorithm has been widely used for computing the homography. However, the performance of RANSAC algorithm can be degraded in randomly selecting feature sampling. This kind of disadvantage of RANSAC will be highlighted especially if the sampled features location are linear and too close to be recognized as an another feature vector. If this is happened in the selection process of RANSAC, accurate homography estimation cannot be performed. To overcome these kinds of disadvantages, we have proposed a novel CSP-driven RANSAC algorithm. The experimentation shows that our CSP-driven RANSAC algorithm performed better than the conventional RANSAC algorithm in the two planar image homography in term of accuracy.

다중 영상과 호모그래피 행렬을 이용한 소실점 위치 향상 알고리즘

이창형(Chang-Hyung Lee),최형일(Hyung-Il Choi) 한국산학기술학회 2019 한국산학기술학회논문지 Vol.20 No.1

본 논문은 다중 영상과 호모그래피 행렬을 통해 소실점 위치의 정확도를 향상시키는 알고리즘을 제안한다. 단일 영상만을 활용하여 소실점 검출이 가능하지만, 여러 영상의 정보를 활용하여 소실점의 위치를 보정하면 소실점 위치의 정확도를 더 향상시킬 수 있다. 위치 정확도가 향상된 소실점을 통해 더 정확한 실내공간 정보 검출이 가능하다. 이를 위해 본 논문에서는 3개의 영상을 입력받아 정보를 검출한 후 영상의 벽면 간의 호모그래피 행렬을 검출하고, 검출된 호모그래피를 이용하여 소실점의 위치를 변환한다. 최종적으로 변환된 소실점 중 최적의 위치에 있는 소실점을 찾아내어 소실점 위치를 보정 함으로써 소실점 위치의 정확도를 향상시킨다. 실험 결과를 통해 기존의 알고리즘과 제안하는 알고리즘의 정확도를 비교 분석한다. 제안하는 알고리즘을 통해 소실점 위치에 대한 오차 각도가 약 1.62% 감소함을 확인하였고, 이를 통해 더 정밀한 소실점 검출이 가능하였다. 또한, 제안한 알고리즘을 통해 향상된 소실점을 이용하여 검출한 레이아웃이 기존 알고리즘의 결과에 비교해 더 정확한 것을 확인 할 수 있었다. In this paper, we propose vanishing-point position-improvement algorithms by using multiple images and a homography matrix. Vanishing points can be detected from a single image, but the positions of detected vanishing points can be improved if we adjust their positions by using information from multiple images. More accurate indoor space information detection is possible through vanishing points with improved positional accuracy. To adjust a position, we take three images and detect the information, detect the homography matrix between the walls of the images, and convert the vanishing point positions using the detected homography. Finally, we find an optimal position among the converted vanishing points and improve the vanishing point position. The experimental results compared an existing algorithm and the proposed algorithm. With the proposed algorithm, we confirmed that the error angle to the vanishing point position was reduced by about 1.62%, and more accurate vanishing point detection was possible. In addition, we can confirm that the layout detected by using improved vanishing points through the proposed algorithm is more accurate than the result from the existing algorithm.

Fixed Homography-Based Real-Time SW/HW Image Stitching Engine for Motor Vehicles

석정희,여준기,노태문,윤상훈 한국전자통신연구원 2015 ETRI Journal Vol.37 No.6

In this paper, we propose an efficient architecture for a real-time image stitching engine for vision SoCs found in motor vehicles. To enlarge the obstacle-detection distance and area for safety, we adopt panoramic images from multiple telegraphic cameras. We propose a stitching method based on a fixed homography that is educed from the initial frame of a video sequence and is used to warp all input images without regeneration. Because the fixed homography is generated only once at the initial state, we can calculate it using SW to reduce HW costs. The proposed warping HW engine is based on a linear transform of the pixel positions of warped images and can reduce the computational complexity by 90% or more as compared to a conventional method. A dual-core SW/HW image stitching engine is applied to stitching input frames in parallel to improve the performance by 70% or more as compared to a single-core engine operation. In addition, a dual-core structure is used to detect a failure in state machines using rock-step logic to satisfy the ISO26262 standard. The dual-core SW/HW image stitching engine is fabricated in SoC with 254,968 gate counts using Global Foundry’s 65 nm CMOS process. The single-core engine can make panoramic images from three YCbCr 4:2:0 formatted VGA images at 44 frames per second and frequency of 200 MHz without an LCD display.

특징점 재추정 방식을 이용한 영상 추적 메커니즘

심중섭,정영준 강원대학교 정보통신연구소 2014 정보통신논문지 Vol.18 No.-

Most augmented reality applications need both image recognition and image tracking. Due to limited computing resources, the mobile system requires more processing time in image recognition than in image tracking. To improve system operation performance, we need to reduce the number of image recognition processes and maintain a suitable condition with terms of the number of inlier feature points used for image tracking for a long time. To obtain the steady inlier points, this study uses an effective prediction with both matched feature points extracted from image recognition and homography. This method predicts tracking points by using feature points obtained from a scene image. Our approach shows a 100% increase in the number of inlier tracking feature points. This result can give a possibility t,o compute more accurate homography and enhance the system performance

모바일 환경 Homography를 이용한 특징점 기반 다중 객체 추적

한우리,김영섭,이용환 한국반도체디스플레이기술학회 2015 반도체디스플레이기술학회지 Vol.14 No.3

This paper proposes an object tracking system based on keypoints using homography in mobile environments. The proposed system is based on markerless tracking, and there are four modules which are recognition, tracking, detecting and learning module. Recognition module detects and identifies an object to be matched on current frame correspond to the database using LSH through SURF, and then this module generates a standard object information. Tracking module tracks an object using homography information that generate by being matched on the learned object keypoints to the current object keypoints. Then update the window included the object for defining object’s pose. Detecting module finds out the object based on having the best possible knowledge available among the learned objects information, when the system fails to track. The experimental results show that the proposed system is able to recognize and track objects with updating object’s pose for the use of mobile platform.

Geometric Image Compensation Method for a Portable Projector Based on Prewarping Using 2D Homography

( Jinsoo Cho ),( Jongkil Won ),( Jongwoo Bae ) 한국인터넷정보학회 2013 KSII Transactions on Internet and Information Syst Vol.7 No.9

As portable multimedia devices become more popular and smaller, the use of portable projectors is also rapidly increasing. However, when portable projectors are used in mobile environments in which a dedicated planar screen is not available, the problem of geometric distortion of the projected image often arises. In this paper, we present a geometric image compensation method for portable projectors to compensate for geometric distortions of images projected on various types of planar or nonplanar projection surfaces. The proposed method is based on extraction of the two-dimensional (2D) geometric information of a projection area, setting of the compensation area, and prewarping using 2D homography. The experimental results show that the proposed method allows effective compensation for waved and arbitrarily shaped projection areas, as well as tilted and bent surfaces that are often found in the mobile environment. Furthermore, the proposed method is more computationally efficient than conventional image compensation methods that use 3D geometric information.

고정카메라와 이동카메라시스템에서 좌표변환의 연관성에 관한 연구

정회범 ( Hoi-bum Chung ) 한국환경기술학회 2007 한국환경기술학회지 Vol.8 No.3

시각서보시스템은 위치기반 시각서보와 영상기반 시각서보로 구분할 수 있는데 두 기법은 각각의 장점과 단점을 가진다. 최근들어 Malis 등이 2.5D 시각서보를 개발하였는데 이 기법은 호모그라피를 통해 병진운동과 회전운동사이의 연관관계를 분해할 수 있는 사실을 이용한다. 호모그라피는 시각서보에 사용되는 Euclidean 재생성을 제공하지만 그 물리적 의미는 명확하지 않다. 본 연구에서는 가상좌표계를 사용하여 고정카메라와 이동카메라시스템에 공통으로 적용될 수 있는 새로운 시각서보 접근방법을 제안하였다. 이 기법은 또한 호모그라피의 물리적 의미를 명확하게 지정할 수 있는 특징을 가진다. Standard visual servoing systems are classified as position-based and image-based visual servo, and both schemes have merits and drawbacks respectively. Recently, Malis et.al. have developed 2.5D visual servoing schemes by exploiting the fact that the interaction between translation and rotation components can be decoupled through a homography. The homography provides Euclidean reconstruction that can be used in the visual servoing, but the physical meaning of the homography is obscure. In this paper, a new visual servoing approach is proposed that can be applied commonly to both the fixed-camera and moving-camera system, using the virtual coordinate frame. The technique also has the characteristic that the physical meaning of the homography is specified explicitly.

프리캐스트 교량의 정밀 시공을 위한 Homography 기반 마커-카메라 6자유도 측정 시스템

최수영,명완철,정용훈,명현 제어로봇시스템학회 2015 제어로봇시스템학회 각 지부별 자료집 Vol.2015 No.12

A plenty of construction sites utilize precast concrete (PC) members which are transferred after those are entirely made from a plant. The PC method can decrease building time and the rate of structural flaws. A lot of PC members are moved by a crane worker to some position which should be fitted by shear pins on the beams. At this moment, workers use their hand gestures to communicate with the crane worker how much PC members should be moved to fit into shear pins. In this paper, a homography-based 6-DOF displacement estimation method calculates the relative displacement between the camera which is located under the upper PC and the planar marker which is located at the shear pin. Marker pixel points are transferred by Bluetooth communication to the main system located at the crane worker for calculating 6-DOF displacement in consideration of distance between the crane worker and the PC members. After measuring 6-DOF displacement, this information is visualized on the display system which shows where the upper PC members are located compared to the shear pin. Finally, for validating robustness of the system, some experiments are conducted with changing wireless communication distances.