변형된 블록 정합 알고리즘과 유사 특징점을 이용한 이미지 모자이킹에 관한 연구 = A Study on Image Mosaics using the Modified Block Matching Algorithm and the Quasi-feature points

국문 초록 (Abstract)

다중의 영상을 결합하는 이미지 모자이킹(image mosaics) 기법에서 영상간의 투영 변환식(projective transformation)을 유도하는 것은 중요하다. 이러한 투영 변환식을 얻기 위한 기존 방법은 영상의 기하학적인 특징(geometrical feature)이나 영상의 화소를 이용하고 있다. 그러나 이러한 방법들은 변환식을 유도하기 위한 대응점 및 변환식의 계수를 추출하기 위해 반복연산을 수행하고 있어 많은 계산량을 요구한다.
본 논문에서 우리는 영상간의 투영 변환식을 얻기 위한 화소 기반의 유사 특징점(Quasi-feature)과 강건한 대응점 추출을 위한 변형된 블록 정합 알고리즘(modified block matching algorithm)을 제안한다. 유사 특징점은 영상의 기하학적인 특징이 아닌 텍스쳐(texture) 정보가 많은 블록의 중심 화소로 정의한다. 이 유사 특징점을 선택하기 위해 입력 영상은 푸리에 변환식(Fourier transform)을 이용해서 주파수 공간(frequency domain)으로 변환하고, 각 화소의 위치에서 위상 성분간의 상관도(phase correlation)를 계산한 후, 다시 역 푸리에 변환(inverse Fourier transform)을 하면 두 영상간의 변위(displacement) 정보를 얻을 수 있고, 이 변위 성분을 이용하면 두 영상이 겹쳐진 영역을 추출할 수 있다. 4개의 특징점은 동일직선 상에 존재하지 않아야 하기 때문에, 추출된 두 영상의 중첩 영역 중 기준영상은 4개의 부 영역(subarea)으로 분할된다. 분할된 각 영역에서 국부 분산(local variance)의 크기가 큰 블록을 찾고, 찾아진 블록의 중심 화소를 유사 특징점으로 선택한다. 선택된 4개의 특징점에 대해서 대상 영상에서 대응되는 점을 영상 취득 시 카메라의 이동과 주변 조명의 변화를 고려한 블록 정합 알고리즘을 이용해서 찾는다. 찾아진 4쌍의 대응점으로부터 영상간의 투영 변환식은 유도되고, 유도된 변환식을 이용하면 카메라의 초점거리를 얻을 수 있다. 얻어진 정보로부터 입력 영상은 실린더 좌표계로 변환되어지고, 변환된 영상들을 정렬하면 실린더 파노라마(cylindrical panorama) 영상을 구성할 수 있다.
본 논문이 제안한 이미지 모자이킹 알고리즘은 4개의 유사 특징점만을 이용하기 때문에 영상간의 투영 변환식을 한번의 계산으로 유도가 가능하다. 또한 기존의 방법에서는 반복 연산을 통해 최적화된 투영 관계식을 유도했지만, 본 논문에서 제안한 알고리즘은 반복적인 연산 없이 정확한 투영 관계식의 유도가 가능하다. 결과적으로 이미지 모자이킹을 위한 계산량을 크게 감소시킬 수 있었다.
본 논문에서 제안된 알고리즘은 성능 평가를 위해 다양한 실측 영상에 적용되었고, 모의 실험 결과는 정확한 대응점을 찾고 있음을 보여 주고 있다.

다국어 초록 (Multilingual Abstract)

A number of techniques have been developed for capturing panoramic images of real world scene. One way is to record an image onto a long film strip using a panoramic camera to directly capture a cylindrical panoramic image. Another way is to use a lens with a very large field of view such as a fisheye lens, mirrored pyramids, and parabolic mirrors.
A less hardware-intensive method for constructing full view panoramas is to take many regular photographic or video images in order to cover the whole viewing space. These images must then be aligned and composited into complete panoramic images using an image mosaic or stitching algorithm. Therefore it is important to know the projective transformation between two images in order to construct the panoramic image or image mosaics with multiple images. The conventional methods have obtained the projective transform by using the geometrical features or the intensities of the image. These methods need an iterative computation, so that the total amount of computation is too much in order to extract the correspondence and to induce the parameters of the transform.
In this paper, we propose the projective registration algorithm, which is possible to reduce computational cost and easily implement, using the four quasi-feature points. The quasi-feature point is defined as a central pixel of a block that has enough texture information. To determine these feature points, we extract the overlap image between two images using the Fourier method and divide this overlap image of the reference into the four subareas. Then we choose the central pixel of the block which has the maximum local variance in each subarea. In order to search the corresponding points of four extracted feature points in the target image, we use the modified block matching algorithm which is considered of both the camera movement and the variation of the illumination conditions.
Once we have obtained the projective transform for an image pair, we can estimate the focal length and then construct the panoramic image. The proposed algorithm is applied to various images to estimate its performance, and the simulation results present that this algorithm finds the correct correspondence and enable to construct a panoramic image as well as a image mosaics with less computation cost.

목차 (Table of Contents)

• 목 차 = ⅰ
• 그림목차 = ⅲ
• 표 목차 = ⅳ
• 제1장 서 론 = 1
• 1.1 연구배경 = 2
• 1.2 연구목적 및 내용 = 3
• 1.3 논문구성 = 3
• 제2장 평면 영상 투영 변환 = 4
• 2.1 카메라 투영 모델 = 5
• 2.1.1 원근 카메라 모델 = 5
• 2.1.2 카메라 파라미터 = 5
• 2.2 평면영상 투영 변환 = 7
• 제3장 영상간의 투영 관계식 유도를 위한 특징점 추출 및 정합 알고리즘 = 10
• 3.1 투영 관계식을 계산하기 위한 기존의 방법들 = 11
• 3.1.1 특징점 기반의 이미지 모자이킹 = 11
• 3.1.2 화소 기반의 이미지 모자이킹 = 11
• 3.2 제안된 이미지 모자이킹 알고리즘 = 13
• 3.2.1 영상의 중첩 영역 추출 = 13
• 3.2.2 유사 특징점의 정의 및 추출 = 15
• 3.2.3 조명 변화를 고려한 히스토그램 평활화(Histogram equalization) = 16
• 3.3 변형된 블록 정합 평가 함수 = 19
• 3.3.1 일반적인 블록 정합 알고리즘 = 19
• 3.3.2 제안된 블록 정합 평가 함수 = 20
• 3.4 실린더 파노라마 영상의 구성 = 23
• 3.4.1 실린더 좌표 변환 = 23
• 3.4.2 초점거리 추정 = 24
• 제4장 실험 및 검토 = 26
• 4.1 전체적인 흐름도와 영상 합성 = 27
• 4.1.1 전체적인 알고리즘 흐름도 = 27
• 4.1.2 영상 합성 = 27
• 4.2 제안된 알고리즘의 성능 평가 = 33
• 제5장 결 론 = 44
• 참고문헌 = 46
• ABSTRACT = 49