동적계획법과 계층적 변이추적을 이용한 스테레오 정합 알고리즘

이행석 ( Heng Suk Lee ),박양우 ( Yang Woo Park ),한규필 ( Kyu Phil Han ) 한국화상학회 2009 한국화상학회지 Vol.15 No.4

본 논문에서는 동적계획법과 계층적 변이추적을 이용한 새로운 스테레오 정합 알고리즘을 제안한다. 기존 동적계획법을 이용한 정합 알고리즘에서는 밝기 변화가 적거나 폐색영역과 같은 정합 화소의 부재 등으로 인하여 정합 오류를 동반하므로 생성된 변이 맵을 신뢰할 수 없는 문제를 갖는다. 그러므로 제안한 방법에서는 계층간의 변이 추적기법을 도입하여 이러한 정합 오류를 복원할 수 있도록 알고리즘을 구성하였다. 입력된 스테레오 영상을 부 표본화를 통해 계층화 하고 동적계획법을 이용하여 생성된 각 계층의 변이 맵으로부터 계층사이의 변이 이동오차와 밝기에 기반한 정합오차를 계산하여 정합 오류를 줄임으로써 보다 정확한 변이를 선택하도록 하였다. 실험 결과에서 보듯이 밝기 변화가 적은 영역과 폐색영역등에서 기존의 동적계획법방법 보다 개선된 성능을 보였다. In this paper, a stereo matching algorithm using hierarchic disparity tracing with dynamic programming is presented. Existing matching algorithms using dynamic programing have weak points at especially low intensity changes and occlusion regions as well, so that the produced disparity map can not be trusted because it should accompany with some matching errors. Therefore, in order to restore these matching errors, the presented algorithm is designed by introducing the disparity tracing scheme between hierarchy of pyramid maps in the proposed method. After sub-sampling of the inputted stereo pair and pre-matching with dynamic programming at each hierarchy of pyramid, the disparity transfer differences between the matching results at each hierarchical layer and the intensity differences of the matching are calculated and the two differences are simultaneously considered. Thus, a disparity, that reduces both the disparity transfer differences and the intensity ones at the mass hierarchy, is selected as the correct disparity in the proposed algorithm. Experimental results showed that the proposed algorithm has more performance improvements than conventional dynamic programings especially at occlusion and low intensity change regions.

명암도 변화에 기반한 국부 영역 분할 및 병합을 이용한 영상분할 알고리즘

이행석 ( Heng Suk Lee ),이동후 ( Dong Hu Nie ),한규필 ( Kyu Phil Han ) 한국화상학회 2008 한국화상학회지 Vol.14 No.4

적응적 원도우와 유전확률을 이용한 스테레오 정합 알고리즘

이행석 ( Heng Suk Lee ),장명호 ( Myung Ho Jang ),한규필 ( Kyu Phil Han ) 한국화상학회 2002 한국화상학회지 Vol.8 No.2

본 논문에서는 2차원 영상에서 3차원 깊이(depth)정보를 추출하기 위해서 진화적 계산 알고리즘을 적용한 적응적 윈도우와 유전자의 생존 확률을 이용한 스테레오 정합 알고리즘 제안한다. 진화적 계산 알고리즘은 자연 선택(natural selection)과 개체군 유전학(population genetics)에 기반한 생물학적 진화 과정을 통해 최적의 해를 찾는 효율적인 탐색 기법이다. 기존의 스테레오 정합 방법에서 생성되어진 2차원 깊이 정보인 변이(disparity) 맵은 경계 부근에서 애매한 결과를 도출함으로써 변이의 세밀하고 정확한 정보를 잃어 실영상(real image)과는 다소 차이를 갖는다. 따라서 제안한 논문에서는 소형 유전자 알고리즘을 스테레오 정합 환경에 맞게 변형시키고, 또한 생성된 변이 맵의 모호성을 해결하기 위해 이전 세대의 변이 맵으로부터 경계를 검출한 변이 경계정보에서 이웃한 화소의 변이 복잡도를 측정하여 복잡도에 따라 윈도우를 정합에 사용하였다. 실험을 통해 제안한 방식이 이완 처리를 포함한 기존의 정합 방식보다 변이 맵 생성에 있어 보다 상세하고 매끄러운 변이 결과를 얻을 수 있었다. In this paper, a genetic stereo matching algorithm using adaptive windows and the survival probability of genes is proposed for the extraction of 3D depth information from 2D images. Genetic algorithms are efficient search methods based on natural selection and population genetics. 2D disparity maps acquired by conventional matching algorithms do not match with the original image profile in disparity edge regions, because of the loss of fine and precise information in the regions. Therefore, in order to decrease the imprecision of disparity values and increase the quality of matching, a compact genetic algorithm is adapted for matching environments, and the adaptive window which is controled by the complexity of neighbor disparities in an abrupt disparity point is used. As the result, the proposed algorithm showed that more correct and precise disparities were obtained than those of conventional matching methods with relaxation scheme.

깊이 일관성을 보존하는 향상된 개체군기반 증가 학습을 이용한 고속 3차원 모델 추출 기법

이행석(Heng-Suk Lee),장명호(Myung-ho Jang),한규필(Kyu-phil Han) 한국정보과학회 2004 정보과학회논문지 : 시스템 및 이론 Vol.31 No.1·2

본 논문에서는 2차원 영상에서 3차원 깊이정보를 추출하기 위해서 진화연산 알고리즘을 적용한 고속 3차원 모델 추출 기법을 제안한다. 진화연산 알고리즘은 자연 선택과 개체군 유전학에 기반한 생물학적 진화 과정을 통해 최적의 해를 찾는 효율적인 탐색 기법이다. 기존의 스테레오 정합 방법에서 생성되어진 2차원 깊이 정보인 변이 맵은 경계 부근에서 애매한 결과를 도출함으로써 변이의 세밀하고 정확한 정보를 잃어 실영상과는 다소 차이를 갖는다. 본 논문에서는 소형 유전자 알고리즘을 스테레오 정합 환경에 맞게 변형시키고, 생성된 변이 맵의 모호성을 해결하기 위해 이전 세대의 변이 맵으로부터 경계를 검출한 변이 경계정보에서 이웃한 화소의 변이 복잡도를 측정하여 복잡도에 따라 적응적 윈도우를 결정하여 정합에 사용하였다. 실험을 통해 제안한 방식이 이완 처리를 포함한 기존의 정합 방식보다 변이 맵 생성에 있어 보다 상세하고 매끄러운 변이 결과를 얻을 수 있었다. In this paper, a fast 3D model extraction algorithm with an enhanced PBIL of preserving depth consistency is proposed for the extraction of 3D depth information from 2D images. Evolutionary computation algorithms are efficient search methods based on natural selection and population genetics. 2D disparity maps acquired by conventional matching algorithms do not match well with the original image profile in disparity edge regions because of the loss of fine and precise information in the regions. Therefore, in order to decrease the imprecision of disparity values and increase the quality of matching, a compact genetic algorithm is adapted for matching environments, and the adaptive window, which is controlled by the complexity of neighbor disparities in an abrupt disparity point is used. As the result, the proposed algorithm showed more correct and precise disparities were obtained than those by conventional matching methods with relaxation scheme.

정합 오차기반 윈도우 및 PBIL을 이용한 고해상도 스테레오 정합 알고리즘

이행석 ( Heng Suk Lee ),한규필 ( Kyu Phil Han ),박양우 ( Yang Woo Park ) 한국화상학회 2005 한국화상학회지 Vol.11 No.2

스테레오 영상에서 견실한 기하정보를 갖는 소실점 추출 알고리즘

이행석 ( Heng Suk Lee ),한규필 ( Han Kyu Phil ),박양우 ( Park Yang Woo ) 한국화상학회 2007 한국화상학회지 Vol.13 No.4

증강현실 환경에서 복합특징 기반의 강인한 마커 검출 알고리즘

박규호,이행석,한규필,Park, Gyu-Ho,Lee, Heng-Suk,Han, Kyu-Phil 한국정보처리학회 2010 정보처리학회논문지 A Vol.17 No.4

본 논문에서는 모서리점, 경계선 및 영역, 적응적 임계값 등과 같은 복합특징을 이용하여 증강현실 시스템에서 마커의 차단현상이 발생되거나 어두운 환경에서도 사용 가능하면서 정합 성능을 개선한 마커검출 알고리즘을 제안한다. 기존의 ARToolkit에서는 마커의 일부분이 사용자에 의해 가려지거나 주위 조명 변화에 의해 입력영상의 밝기 변화가 크게 될 경우, 마커를 추출할 수 없는 반면 제안한 마커추적 알고리즘에서는 마커영역 추출시 적응적 임계값 기법을 사용하여 조명의 변화에 둔감하게 반응하여 정확한 마커영역만을 분리 추출할 수 있다. 그리고 모서리 여부를 판단하고 모서리점이 가려진 경우, 추출된 직선의 교점으로부터 모서리점을 추출하므로 차단에 의해 마커가 가려졌을 때에도 정확한 마커 영역을 추출할 수 있다. 또한, 등록된 마커와의 정합시, 와핑에서 발생되는 마커의 크기 및 중심위치 변화를 보정하는 기법을 추가하여 정합 성능을 개선 시켰다. 실험 결과 제안한 알고리즘은 주위 조명 변화와 차단 현상에 강인하게 마커를 검출하였으며, 유사한 마커 태그를 구분 할 수 있는 정합 유사도가 종전보다 30% 증가한 것을 확인 할 수 있었다. This paper presents an improved marker detection algorithm using hybrid features such as corner, line segment, region, and adaptive threshold values, etc. In usual augmented reality environments, there are often marker occlusion and poor illumination. However, existing ARToolkit fails to recognize the marker in these situations, especially, partial concealment of marker by user, large change of illumination and dim circumstances. In order to solve these problems, the adaptive threshold technique is adopted to extract a marker region and a corner extraction method based on line segments is presented against marker occlusions. In addition, a compensating method, corresponding the marker size and center between registered and extracted one, is proposed to increase the template matching efficiency, because the inside marker size of warped images is slightly distorted due to the movement of corner and warping. Therefore, experimental results showed that the proposed algorithm can robustly detect the marker in severe illumination change and occlusion environment and use similar markers because the matching efficiency was increased almost 30%.

입체영상 전송을 위한 워터마킹 기반의 스테레오 영상압축 및 복원기법

구문기 ( Moon Ki Koo ),이행석 ( Heng Suk Lee ),한규필 ( Kyu Phil Han ) 한국화상학회 2004 한국화상학회지 Vol.10 No.3

효율적인 깊이 특징 추출을 이용한 스테레오 영상 기반의 3차원 모델링 기법

하용수(Young Su Ha),이행석(Heng Suk Lee),한규필(Kyu Phil Han) 한국정보과학회 2005 정보과학회논문지 : 시스템 및 이론 Vol.32 No.9·10

본 논문에서는 특징 기반 3D 모델링 알고리즘을 제안한다. 깊이 기반 기술을 다루는 전통적인 방법들은 영상 정합을 위한 깊이정보추출에 많은 시간을 필요로 한다. 특징 기반 알고리즘에서 삼각형 내부의 모든 픽셀들에 대한 모델링 오차 계산이 필요하다 할지라도 깊이 기반 보다는 특징기반 방법들이 보다 적은 계산 부담을 가지나 이는 또한 계산 시간을 증가 시킨다. 그러므로 제안된 알고리즘은 효율적인 3D 모델을 생성하기 위해 초기 3D 모델 생성, 모델 평가 및 모델 세분화의 3단계로 구성하였다. 초기 모델 생성을 위해 밝기 변화와 델루니 삼각화가 사용되었고 이 단계에서 빠른 경계 추출과 점진적인 델루니 삼각화 및 삼각형 내부의 중심에 가까운 정점을 선택하거나 모든 픽셀에 대한 오차 계산을 위한 연산 시간을 줄이기 위해 형태학적 미분 연산자를 수정하여 이용하였다. 모델 생성 후 평가 단계에서 표면의 변이 변화와 근사 오차 및 표면의 크기를 평가하여 드물게 정합을 수행 하였고, 그 후 큰 오차를 갖는 표면들을 선택하여 작은 표면이 되게 세밀화 작업을 했다. 실험 결과 제안된 알고리즘이 평탄영역 및 급격한 영역에서 보다 적은 모델링 오류로 적응적인 모델을 획득할 수 있었고 모델 획득시간을 현저하게 줄일 수 있었다. A feature-based 3D modeling algorithm is presented in this paper. Since conventional methods use depth-based techniques, they need much time for the image matching to extract depth information. Even feature-based methods have less computation load than that of depth-based ones, the calculation of modeling error about whole pixels within a triangle is needed in feature-based algorithms. It also increase the computation time. Therefore, the proposed algorithm consists of three phases, which are an initial 3D model generation, model evaluation, and model refinement phases, in order to acquire an efficient 3D model. Intensity gradients and incremental Delaunay triangulation are used in the initial model generation. In this phase, a morphological edge operator is adopted for a fast edge filtering, and the incremental Delaunay triangulation is modified to decrease the computation time by avoiding the calculation errors of whole pixels and selecting a vertex at the near of the centroid within the previous triangle. After the model generation, sparse vertices are matched, then the faces are evaluated with the size, approximation error, and disparity fluctuation of the face in evaluation stage. Thereafter, the faces which have a large error are selectively refined into smaller faces. Experimental results showed that the proposed algorithm could acquire an adaptive model with less modeling errors for both smooth and abrupt areas and could remarkably reduce the model acquisition time.

2D 평면 표본화와 웨이브릿 변환을 이용한 효율적인 3차원 객체 간소화 알고리즘

장명호(Myung-ho Jang),이행석(Heng-Suk Lee),한규필(Kyu-phil Han),박양우(Yang-Woo Park) 한국정보과학회 2004 정보과학회논문지 : 시스템 및 이론 Vol.31 No.5·6

본 논문에서는 컴퓨터 응용환경에서 3차원 물체를 효율적으로 표현하기 위해 웨이브릿 변환과 2D 평면 표본화를 이용한 3D 객체 간소화 알고리즘을 제안한다. 기존의 웨이브릿 변환을 이용한 메쉬의 압축 및 간소화 알고리즘은 3차원 정점에 대해서 변환을 수행하기 때문에 연결 정보가 필요한 합성과정에서 정점들을 다시 다각형으로 연결시키는 타일링 최적화 문제를 해결해야만 하는 단점을 가지고 있다. 그러나 제안한 방식은 3차원 메쉬를 2차원 평면 상으로 표본화하여 각 평면에 대한 2차원 다각형을 최소화하기 때문에 변환이 용이하며 2차원 정점을 순서적으로 나열하면 2개의 1차원 배열 자체가 연결정보를 포함하기 때문에 1차원 변환으로 다각형을 변환 및 표현할 수 있다는 장점이 있다. 그리고 표본화 평면의 간격조정과 각 평면에서의 웨이브릿 계수를 선택적으로 조정함으로써 간단히 LOD를 조절할 수 있다. 2차원 다각형의 간소화는 주관적 화질에 영향을 주지 않는 작은 웨이브릿 계수를 선택하여 제거함으로써 수행되어진다. 그 결과 제안된 알고리즘은 간단하지만 효율적이다. 실험을 통하여 제안한 알고리즘은 적은 외부 붕괴를 가지면서 정확한 간소화 메쉬를 보여준다는 것을 알 수 있다. In this paper, a mesh simplification algorithm based on wavelet transform and 2D planar sampling is proposed for efficient handling of 3D objects in computer applications. Since 3D vertices are directly transformed with wavelets in conventional mesh compression and simplification algorithms, it is difficult to solve tiling optimization problems which reconnect vertices into faces in the synthesis stage highly demanding vertex connectivities. However, a 3D mesh is sampled onto 2D planes and 2D polygons on the planes are independently simplified in the proposed algorithm. Accordingly, the transform of 2D polygons is very tractable and their connection information is replaced with a sequence of vertices. The vertex sequence of the 2D polygons on each plane is analyzed with wavelets and the transformed data are simplified by removing small wavelet coefficients which are not dominant in the subjective quality of its shape. Therefore, the proposed algorithm is able to change the mesh level-of-detail simply by controlling the distance of 2D sampling planes and the selective removal of wavelet coefficients. Experimental results show that the proposed algorithm is a simple and efficient simplification technique with less external distortion.