잡음 영상에서 국부 영역의 반복적인 위상 상관도를 이용한 부화소 이동량 추정방법

하호건(Ho-Gun Ha),장인수(In-Su Jang),고경우(Kyung-Woo Ko),하영호(Yeong-Ho Ha) 大韓電子工學會 2010 電子工學會論文誌-SP (Signal processing) Vol.47 No.1

본 논문에서는 원 영상에서 특정한 국부 영역을 선택하고 선택된 국부 영역에 반복적인 위상 상관도를 수행함으로써 잡음을 가지고 있는 영상에서 정확한 부화소(subpixel) 이동량을 추정하는 방법을 제안한다. 기존의 방법은 영상 전체를 이용해 위상 상관도를 수행 한 후 포물선, sinc 같은 함수 보간을 통해 간접적으로 부화소 이동량을 추정하였다. 이 같은 추정방법은 정확하나 백색 가우시안 잡음(additive white gaussian noise)이나 에일리어싱(aliasing)과 같은 잡음이 영상에 존재하면 정확한 부화소 이동량 추정이 어렵다. 그래서 영상 전체를 이용하기 보다는 잡음이 적은 국부 영역을 선택하여 이를 이용해 위상 상관도를 수행하고 부화소 이동량을 계산할 때 기존의 함수의 보간을 사용하기 않고 반복적으로 위상 상관도를 수행함으로써 잡음에 강한 부화소 이동량을 추정 방법을 제안하였다. 또한 위상 상관도 함수의 분석을 통해 위상 상관도 반복횟수를 줄이는 방법도 제안하였다. 실험을 통해 제안한 방법과 기존의 방법으로 추정한 부화소 이동량의 오차를 비교하고 초해상도 영상을 만들어 봄으로써 제안한 방법이 잡음이 있는 조건에서 더 정확한 부화소 이동량 추정성능을 보여줌을 알 수 있었다. In this paper, we propose a subpixel shift estimation method using phase correlation with a local region for the registration of noisy images. Phase correlation is commonly used to estimate the subpixel shift between images, which is derived from analyzing shifted and downsampled images. However, when the images are affected by additive white Gaussian noise and aliasing artifacts, the estimation error is increased. Thus, instead of using the whole image, the proposed method uses a specific local region that is less affect by noises. In addition, to improve the estimation accuracy, iterative phase correlation is applied between selected local regions rather than using a fitting function. the restricted range is determined by analyzing the maximum peak and the two adjacent values of the inverse Fourier transform of the normalized cross power spectrum. In the experiments, the proposed method shows higher accuracy in registering noisy images than the other methods. Thus, the edge-sharpness and clearness in the super-resolved image is also improved.

컬러 카테고리 맵을 이용한 수정된 지역적인 색변환

하호건(Ho-Gun Ha),경왕준(Wang-Jun Kyung),김대철(Dae-Chul Kim),하영호(Yeong-Ho Ha) 大韓電子工學會 2012 電子工學會論文誌-SP (Signal processing) Vol.49 No.3

Local color transfer is the process of assigning a given color to a local region in a target image. The local region that contains the given color has to be segmented. Conventionally, the segmentation of the corresponding local region in a target image is based on the color distance. The region which is the closest in color distance is separated. However, since the close range of color distance separating a given color from target image is ambiguous and uncertain, color distortion is often generated around a separated local region. Therefore, this paper addresses the problem of segmentation in a local color transfer. To prevent color distortion, a modified color influence map is proposed with color categories. First, the target image is roughly segmented using a color category map, which groups similar colors in color space. It restricts the color transfer to a specific color category according to a given color. Second, modified color influence map assigning different weight to lightness and chroma, respectively, is used instead of Euclidian color distance. Then, by combining a modified color influence map and color category map filtered with anisotropic diffusion, a local region that contains a given color can be segmented more strictly than conventional method. 지역적인 영상의 색변환이란 영상에서 특정 색을 포함하는 영역을 추정하고 이를 원하는 색으로 변환시키는 것이다. 기존 방법에서는 색차만을 이용해서 바꾸고자 하는 색을 포함하는 영역을 추정하고 이를 변환하였다. 따라서 변환되는 색 주변에서 원하지 않는 색결점(color artifact)이 나타나게 되었다. 제안한 방법에서는 이러한 색결점을 줄이기 위해 컬러 카테고리 맵과 수정된 color influence map을 결합한 지역적인 색변환 방법을 제안하였다 .컬러 카테고리 맵은 모든 색을 사람의 인지를 기반으로 11가지의 컬러 카테고리로 나눈 것으로서, 컬러 정보만을 이용해서 먼저 바꾸고자하는 색을 포함한 입력 영상의 지역 영역을 대략적으로 추정한다. 다음으로, 수정된 color influence map을 이용하여 인접한 영역의 색을 고려한 색변환 정도를 계산한다. 기존의 방법처럼 단순히 동일한 가중치를 주는 색차보다는 밝기와 색도에 서로 다른 가중치를 주어 수정된 color influence map을 계산하였다. 마지막으로 각각의 컬러 카테고리 맵과 수정된 color influence map에 가중치를 결합하여 지역적인 영상의 색변환을 수행하였다. 실험을 통해 제안한 방법과 기존의 색변환 방법의 결과 영상을 비교해 보았으며, 제안한 방법에서 색결점이 적게 나타나는 것을 확인할 수 있다.

컬러 결점을 줄이기 위한 수정된 segment maxima 기반의 색역 추정

하호건(Ho-Gun Ha),장인수(In-Su Jang),이태형(Tae-Hyoung Lee),하영호(Yeong-Ho Ha) 大韓電子工學會 2011 電子工學會論文誌-SP (Signal processing) Vol.48 No.3

본 논문에서는 수정된 segment maxima을 기반으로 한 색역 추정 방법을 제안한다. Segment maxima은 CIELab 공간을 일정한 간격으로 분할하고, 각 분할된 영역의 최외각 측정 데이터를 계산하여 색역을 추정하는 기법이다. 그러나 이 방법은 색공간의 분할 개수에 따라서 지역적인 색역 왜곡이 나타나 색역 사상시에 컬러 결점(color artifact)을 발생시킨다. 색공간 분할 개수가 적으면 높은 채도 부근에서 추정된 색역 정보가 분실되어 컬러 컨투어(color contour) 현상이 발생한다. 이와 반대로 색공간 분할 개수가 많으면 CIELab 밝기 축 부근에서 색역이 오목하게 되는 왜곡이 발생한다. 이러한 지역적인 색역 왜곡은 색역 사상시 결과 영상에 컬러 결점이 유발한다. 제안한 논문에서는 실험을 통하여 측정한 데이터 수에 따른 적절한 색공간 분할 개수를 설정하여 높은 채도 부근에 색역 축소를 줄이며, 오목하게 나타나는 지역적인 색역 왜곡을 다양한 색역 분할에 따른 색역 경계 서술자(gamut boundary descriptor) 비교를 통해 이를 수정하는 방법을 제안하였다. 실험을 통해 제안한 방법이 기존의 segment maxima보다 정확한 장치의 색역을 추정할 수가 있었고, 결과 영상에서도 컬러 컨투어나 반점과 같은 컬러 결점이 줄어듬을 확인 할 수 있었다. In this paper, we proposed a method for estimating an accurate gamut based on segment maxima method. According to the number of segments in the segment maxima, a local concavity is generated in the vicinity of lightness axis or a gamut is reduced in high chroma region. It induces artifacts or deterioration of the image quality. To remove these artifacts, the number of segment is determined according to the number of samples. and a local concavity is modified by extending a detected concave point to the line connecting two adjacent boundary points. Experimental results show that the contours in a uniform color region and speckle artifacts from the conventional segment maxima algorithm are removed.

상관 계수를 이용한 유사 모집단 기반의 분광 반사율 추정

유지훈(Ji-Hoon Yoo),하호건(Ho-Gun Ha),김대철(Dae-Chul Kim),하영호(Yeong-Ho Ha) 대한전자공학회 2013 전자공학회논문지 Vol.50 No.10

일반적으로 영상의 색은 RGB 카메라 시스템의 red, green, blue 채널들을 사용하여 재현된다. 하지만 세 채널들의 정보만으로 실제 장면의 분광 반사율을 추정하는데 한계가 있다. 이 때문에 RGB 카메라 시스템은 색을 정확하게 재현하지 못한다. 이 한계를 극복하고 정확한 색을 재현하기 위해 다채널 카메라 시스템을 사용하여 분광 반사율을 추정하는 연구들이 활발히 진행되고 있다. 최근 분광 유사도를 사용하여 카메라 응답에 따라 기존 모집단에서 유사 모집단을 적응적으로 구성하는 분광 반사율 추정법이 소개되었다. 하지만 이 방법에는 평균 거리와 최대 거리 기반의 분광 유사도가 적용되었기 때문에 유사 모집단의 정확도가 저하된다. 본 논문에서는 유사 모집단의 정확도를 향상시키기 위해 상관 계수 기반의 분광 유사도가 적용된 분광 반사율 추정법을 제안하였다. 먼저 기존 모집단과 위너(Wiener) 추정법을 통해 획득된 분광 반사율 간의 상관 계수를 계산한다. 다음으로 상관 계수에 따라 기존 모집단에서 유사 모집단을 구성한다. 마지막으로 유사 모집단이 적용된 위너 추정법을 수행하여 분광 반사율을 추정한다. 제안된 방법과 이전의 방법들의 성능을 평가하기 위해 실험 결과를 비교하였다. 그 결과, 제안한 방법이 제일 우수한 성능을 나타내었다. In general, a color of an image is represented by using red, green, and blue channels in a RGB camera system. However, only information of three channels are limited to estimate a spectral reflectance of a real scene. Because of this, the RGB camera system can not accurately represent the color. To overcome this limitation and represent an accurate color, researches to estimate the spectral reflectance by using a multi-channel camera system are being actively proceeded. Recently, a reflectance estimation method adaptively constructing a similar training set from a traditional training set according to a camera response by using a spectral similarity was introduced. However, in this method, an accuracy of the similar training set is reduced because the spectral similarity based on an average and a maximum distances was applied. In this paper, a reflectance estimation method applied a spectral similarity based on a correlation coefficient is proposed to improve the accuracy of the similar training set. Firstly, the correlation coefficient between the similar training set and the spectral reflectance obtained by Wiener estimation method is calculated. Secondly, the similar training set is constructed from the traditional training set according to the correlation coefficient. Finally, Wiener estimation method applied the similar training set is performed to estimate the spectral reflectance. To evaluate a performance of the proposed method with previous methods, experimental results are compared. As a result, the proposed method showed the best performance.

단일 Bayer 영상으로 부터 다양한 노출을 가지는 Low Dynamic Range 영상들의 추정

이태형(Tae Hyoung Lee),하호건(Ho-Gun Ha),하영호(Yeong-Ho Ha) 大韓電子工學會 2011 電子工學會論文誌-SP (Signal processing) Vol.48 No.2

HDR(high dynamic range) 영상 기법은 일반 카메라에서 획득되는 영상의 LDR(low dynamic range)의 한계를 극복하는 방법을 일컫는다. 일반적으로 이 기법은 카메라의 노출에 따른 단계별 LDR 영상들을 획득하고 통합함으로써 획득된다. 그러나 기존의 연구에서는 여러 번에 걸친 영상획득 과정이 필요하고 그에 따른 고스트(ghost) 현상을 야기한다. 이러한 한계를 극복하기 위하여, 본 연구에서는 센서에서 획득되는 단일 Bayer 영상으로부터 사용자가 요구하는 노출의 LDR 영상을 채널상관성을 고려하여 추정할 수 있는 방법을 제안하였다. 제안된 방법은 먼저 입 · 출력 간의 상관관계를 나타내는 노출(exposure) look-up table(LUT)를 각 채널별로 생성을 한다. 그리고 입력 영상의 평균휘도와 노출을 LUT에 적용하여, 최종 LDR 영상을 위한 새로운 노출을 추정한다. 다음으로 입력 영상의 각 픽셀 값과 추정된 노출을 LUT에 적용함으로써 목적하는 밝기를 가지는 LDR 영상을 추정 할 수 있다. 이 때, 포화된 영역의 경우는 채널의 상관성을 고려하여 추정함으로써 실제 노출로 획득한 영상과의 차이를 줄이는 방법을 제안하였다. 결과영상은 PSNR을 비교하여 정확성을 증명하였으며, 또한 디스플레이를 위하여 톤맵핑(tone mapping)을 적용한 영상을 사용한 비교에서 실제 획득된 영상과 추정한 영상의 차이가 비슷함을 확인하였다. HDR(high dynamic range) imaging techniques supports wider dynamic range than normal images captured from general still camera. These usually need several shots to obtain LDR(low dynamic range) images, causing ghosting artifacts. Accordingly, this paper suggests a method to generate new LDR images from a single Bayer image using Exposure LUT(look-up table) by considering channel dependency. We prior construct exposure LUT for each RGB channel, showing the relationship between input and average output luminance values. In the process, by applying the average luminance of input image and current exposure to LUT, new exposures which are determined by user choice are first estimated. Next, LDR images which are corresponded to new exposures are generated based on each LUT. Saturated areas are improved by considering channel dependency in the last procedure. In the experimental comparison, high PSNR values are obtained between estimated and captured images. Also, we have similar appearance on displayed images.

지역과 전역적인 색보정을 결합한 스테레오 영상에서의 색 일치

수란(Ran Shu),하호건(Ho-Gun Ha),김대철(Dae-Chul Kim),하영호(Yeong-Ho Ha) 대한전자공학회 2013 전자공학회논문지 Vol.50 No.12

스테레오 좌우 영상간의 색 일치는 3D 영상을 재현할 때 매우 중요하다. 이를 위해 카메라 세팅 및 촬영 환경을 일치시켜서 스테레오 영상을 획득하더라도 여전히 색 불일치가 나타나게 된다. 이러한 색 불일치는 특성에 따라 전역과 지역적인 색불일치로 구분될 수 있다. 따라서 이들 특성을 고려하여 스테레오 영상의 색을 정확히 일치시킬 수 있는 방법이 필요하다. 본 논문에서는 누적 히스토그램과 3D 거리정보를 이용하여 전역과 지역의 색 불일치를 동시에 보정하는 방법을 제안한다. 먼저 기준이 되는 영상의 누적 히스토그램을 기반으로 한 매칭 함수를 이용하여 전역적으로 발생하는 색 불일치를 보정한다. 다음으로 대응되는 샘플 특징점 간의 CD-LUT(color difference look-up table)을 구성하고, disparity map을 통한 3D 거리 정보를 기반으로 한 샘플 특징점의 유사성을 기준으로 가중치를 적용하여 지역적인 색 일치를 수행한다. 마지막으로 전역적인 보정과 지역적인 보정된 영상을 결합함으로서 스테레오 영상에서 나타나는 색 불일치를 보정하였다. 색차가 발생한 스테레오 영상에 대해 기존 색 일치 방법과 제안한 방법을 비교하기 위하여 색상 유사도를(hue similarity)와 MOS(mean opinion scores) 이용하여 평가하였다. 실험 결과에서 제안한 방법을 통한 결과 영상이 기존 방법을 통한 결과 영상보다 더 높은 수치를 나타냄을 알 수 있었다. Color consistency in stereoscopic contents is important for 3D display systems. Even with a stereo camera of the same model and with the same hardware settings, complex color discrepancies occur when acquiring high quality stereo images. In this paper, we propose an integrated color matching method that use cumulative histogram in global matching and estimated 3D-distance for the stage of local matching. The distance between the current pixel and the target local region is computed using depth information and the spatial distance in the 2D image plane. The 3D-distance is then used to determine the similarity between the current pixel and the target local region. The overall algorithm is described as follow; First, the cumulative histogram matching is introduced for reducing global color discrepancies. Then, the proposed local color matching is established for reducing local discrepancies. Finally, a weight-based combination of global and local matching is computed. Experimental results show the proposed algorithm has improved global and local error correction performance for stereoscopic contents with respect to other approaches.

클래스 내 표준편차 기반의 문턱치 처리에 의한 영상분할

성정민(Jung-Min Sung),하호건(Ho-Gun Ha),최봉열(Bong-Yeol Choi) 대한전자공학회 2013 전자공학회논문지 Vol.50 No.7

영상분할에 사용되는 문턱치 처리 방법들 중 Otsu 방법은 클래스 내 분산(within-class variance)을 이용하여 최적의 문턱치를 자동으로 추정한다. 이때, Otsu 방법은 각 클래스(class)의 통계적 분포를 표현함에 있어 분산을 사용하며, 이러한 분산은 평균으로부터 해당 자료까지의 거리 제곱으로 표현된다. 그 결과, Otsu 방법의 최적 문턱치는 분산의 크기에 큰 영향을 받으며, 분산들 중 크기가 큰 쪽으로 편향되는 문제점을 보인다. 이에 본 논문은 분산을 표준편차로 변경함으로써 이러한 현상을 감소시켰으며, 보다 정확한 문턱치를 추정할 수 있었다. 본 논문은 기존의 클래스 분산(class variance)을 클래스 표준편차(class standard deviation)로 대체하였으며, 문턱치 선택 기준으로서 클래스 내 표준편차(within-class standard deviation)을 제안하였다. 타당성을 검증하기 위해 두 개의 정규분포 히스토그램(histogram) 및 음영이 있는 영상들에 대해 모의실험을 수행하였으며, 제안된 방법을 Otsu 방법 및 기존의 방법들과 비교하였다. 또한, 객관적 성능평가(Misclassification Error)를 통해 제안된 방법의 우수성을 확인하였다. The within-class variance of Otsu’s method is moderate but improper in expressing class statistical distributions. Otsu’s method uses a variance to represent the distribution of each class. The variance utilizes a distance square from the mean to a data. This process is not proper in denoting a real class statistical distribution because of the distance square. In this paper, to express more exact class statistical distributions, the within-class standard deviation as a criterion for threshold selection is proposed and then the optimal threshold is determined by minimizing it. In order to have validity, it is shown through the experimental results that the proposed method was more superior to the counterparts.

노출이 다른 다수의 입력 영상을 사용한 초해상도 영상 복원

이태형(Tae-Hyoung Lee),하호건(Ho-Gun Ha),이철희(Cheol-Hee Lee),하영호(Yeong-Ho Ha) 대한전자공학회 2012 電子工學會論文誌-SP (Signal processing) Vol.49 No.1

초해상도 영상복원은 동일한 노출을 가진 다수의 저해상도 영상을 사용하며, 각 영상들 간의 부화소 이동량을 통해 높은 해상도를 가지는 영상을 복원하는 방법이다. 최근에는 노출이 다른 다수의 입력 영상들을 사용하여 해상도와 동적범위 모두를 향상시키는 방법들이 제시되고 있다. 기존의 방법들은 장면의 휘도 변환을 위한 카메라 응답곡선과 톤 맵핑 방법을 필수적으로 요구한다. 이러한 과정에서 CRC 곡선은 추가적인 영상 획득을 요구하며, 과정 또한 복잡하다. 특히 톤 맵핑은 방법에 따라 결과 영상의 화질을 일정하게 나타내지 못하는 장점이 있다. 따라서 본 연구에서는 가중치 맵을 사용한 고해상도 동적 범위확장 영상 재현 방법을 제시한다. 제안된 방법에서 먼저 각 입력 영상에서 인간 시각에 가장 잘 보이는 영역을 가중치 맵(weight map)이라 정의하고, 가중치 맵이 적용된 입력 영상을 초해상도 복원방법에 적용함으로써, 해상도와 동적 범위가 모두 확장된 결과 영상을 획득한다. 이 방법은 카메라 응답곡선과 톤 맵핑을 사용하지 않음으로 일정한 화질을 획득한다. 또한 제안된 방법은 입력 영상의 구성에 따라 결과 영상의 화질이 다르게 나타남으로, 수수의 불규칙한 입력에도 유사한 결과를 획득하기 위한 밝기 보상 요소를 제안한다. Recent research efforts have focused on combining high dynamic range imaging with super-resolution reconstruction to enhance both the intensity range and resolution of images. The processes developed to date start with a set of multiple-exposure input images with low dynamic range (LDR) and low resolution (LR), and require several procedural steps: conversion from LDR to HDR, SR reconstruction, and tone mapping. Input images captured with irregular exposure steps have an impact on the quality of the output images from this process. In this paper, we present a simplified framework to replace the separate procedures of previous methods that is also robust to different sets of input images. The proposed method first calculates weight maps to determine the best visible parts of the input images. The weight maps are then applied directly to SR reconstruction, and the best visible parts for the dark and highlighted areas of each input image are preserved without LDR-to-HDR conversion, resulting in high dynamic range. A new luminance control factor (LCF) is used during SR reconstruction to adjust the luminance of input images captured during irregular exposure steps and ensure acceptable luminance of the resulting output images. Experimental results show that the proposed method produces SR images of HDR quality with luminance compensation.

HDR 영상의 지역적 밝기 및 디테일 향상을 위한 감마 보정 기법

이승윤(Seung-Yun Lee),하호건(Ho-Gun Ha),송근원(Kun-Woen Song),하영호(Yeong-Ho Ha) 한국멀티미디어학회 2016 멀티미디어학회논문지 Vol.19 No.5

밝기 비트맵과 색도 일관성을 이용한 무 잔상 High Dynamic Range 영상 생성

위엔시(Xi Yuan),하호건(Ho-Gun Ha),이철희(Cheol-Hee Lee),하영호(Yeong-Ho Ha) 대한전자공학회 2015 전자공학회논문지 Vol.52 No.1

HDR(high dynamic range) 영상 생성은 실세계의 고명암비 영상을 재현하는 방법이다. Exposure fusion은 여러 HDR 영상 생성방법 중 한 가지로 true-HDR 영상을 생성하지 않고, 바로 pseudo-HDR 영상을 생성하는 방법이다. 그러나 노출이 다른 여러 입력영상들 중에서 이동하는 물체가 존재하면 잔상 효과가 발생하여 pseudo-HDR 영상의 화질 열화를 가져온다. 이러한 단점을 해결하기 위해 본 논문에서는 시간 영역에서 일치성 평가를 통한 무 잔상 exposure fusion을 제안하였다. 먼저 다중 역치 및 밝기를 이용한 비트맵과 색도 일관성 맵을 이용하여 각 입력 영상들간의 일치성을 평가하였고, 이를 시간 영역 가중치 맵으로 나타내었다. 그리고 기존 exposure fusion에서의 공간 영역 가중치 맵과 결합하여 최종 가중치 맵을 생성하였다. 마지막으로 각각 입력 영상에 최종 가중치 맵을 적용한 후, 합성하여 잔상이 제거된 pseudo-HDR 영상을 생성하였다. 실험을 통해 제안된 방법의 pseudo-HDR이 기존의 방법보다 잔상이 더 많이 제거되어 화질이 개선됨을 확인하였고, 객관적인 평가 방법인 기준 영상 대비 오차도 더 적게 나타남을 확인하였다. HDR(High dynamic range) imaging is a technique to represent a dynamic range of real world. Exposure fusion is a method to obtain a pseudo-HDR image and it directly fuses multi-exposure images instead of generating the true-HDR image. However, it results ghost artifacts while fusing the multi-exposure images with moving objects. To solve this drawback, temporal consistency assessment is proposed to remove moving objects. Firstly, multi-level threshold bitmap and brightness bitmap are proposed. In addition, hue-angle constancy map between multi-exposure images is proposed for compensating a bitmap. Then, two bitmaps are combined as a temporal weight map. Spatial domain image quality assessment is used to generate a spatial weight map. Finally, two weight maps are applied at each multi-exposure image and combined to get the pseudo-HDR image. In experiments, the proposed method reduces ghost artifacts more than previous methods. The quantitative ghost-free evaluation of the proposed method is also less than others.