Gradient Correlation을 이용한 고속 수치지형표고 모델 추출 방법

예철수 ( Chul Soo Ye ),전병민 ( Byung Min Jeon ),이쾌희 ( Kwae Hi Lee ) 大韓遠隔探査學會 1998 大韓遠隔探査學會誌 Vol.14 No.3

본 논문에서는 위성 영상을 이용하여 고속으로 수치지형표고 모델을 추출하기 위한 방법을 제안한다. 수치지형표고 모델 추출 방법은 위성의 위치와 자세를 계산하는 카메라 모델링 과정, 스테레오 영상으로부터 동일점을 찾아내는 정합과정 그리고 외부 표정 요소와 정합쌍을 이용하여 고도 정보를 추출하는 고도 정보 계산 과정으로 크게 구분된다. 이 중 정합 과정은 대상 영상의 모든 영역에 대하여 수행되므로 계산량이 많고, 수치지형표고 모델 추출 과정의 대부분의 수행시간을 점유한다. 따라서 본 논문에서는 수치지형표고 모델 추출 과정 중 대부분의 수행시간을 차지하는 정합 기법의 속도 향상을 통하여 수치지형표고 모델 제작 시간을 단축 시킨다. 본 논문에서 제안한 정합 기법의 속도 향상 방법은 두 가지로 분류된다. 첫째는 일반적으로 많이 사용되는 유사함수인 정규상관계수(NCC: Normalized Cross Correlation)에 비해 계산량이 적은 고속 GC(Gradient Correlation)을 사용한다. 둘째는 동일점을 찾기 위하여 사용되는 정합 창틀을 계산할 때, 이전에 미리 계산된 값을 이용하여 계산량을 감소시킨다. 실험에 사용한 입력 영상은 6000×6000 크기의 충청 지역 level 1A SPOT위성 쌍의 일부분이다. 실험 결과 기존의 수치지형표고 모델 추출 방법과 유사한 성능을 보이며 수행시간이 단축되는 것을 확인하였다. The purpose of this paper is to extract fast DEM (Digital Elevation Model) using satellite images. DEM extraction consists of three parts. First part is the modeling of satellite position and attitude, second part is the matching of two images to find corresponding points of them and third part is to calculate the elevation of each point by using the results of the first and second part. The position and attitude modeling of satellite is processed by using GCPs. A area based matching method is used to find corresponding points between the stereo satellite images. The elevation of each point is calculated using the exterior orientation parameters obtained from modeling and conjugate points from matching. In the DEM generation system, matching procedure holds most of a processing time, therefore to reduce the time for matching, a new fast matching algorithm using gradient correlation and fast similarity measure calculation method is proposed. In this paper, the SPOT satellite images, level 1A 6000×6000 panchromatic images are used to extract DEM, The experiment result shows the possibility of fast DEM extraction with the satellite images.

건물모델 및 선소측정함수를 이용한 건물의 3차원 복원

예철수,이쾌희,Ye, Chul-Soo,Lee, Kwae-Hi 대한전자공학회 2000 電子工學會論文誌-SP (Signal processing) Vol.37 No.4

본 논문에서는 스테레오 항공 영상으로부터 영상에 포함된 건물의 3차원 복원을 위해 건물 형태에 대한 모델을 생성하고 건물 모델을 구성하는 선소를 찾아 건물을 복원하는 알고리듬에 대해 다루고 있다. 건물을 검출하기 위해 일반적으로 필요한 에지 검출, 에지의 직선화, 선소의 연결 등의 복잡한 과정을 거치지 않고 복원하는 건물을 몇 개의 파라미터값으로 표현하고 건물 모델을 이용하여 원영상에서 건물의 선소들을 직접 검출하는 새로운 방법을 제안하였다. 선소 검출시 건물을 구성하는 각각의 선소에 대해 선소 측정 함수를 동시에 적용하여 독립적인 선소 검출 방법보다 건물 검출의 정확도를 높였다. 제안한 알고리듬을 스테레오 항공 영상에 적용한 결과, 건물의 정확한 검출 및 복원 결과를 얻을 수 있었다. This paper presents an algorithm for 3D building reconstruction from a pair of stereo aerial images using the 3D building model and the linear segments of building. Direct extraction of linear segments from original building images using parametric building model is attempted instead of employing the conventional procedures such as edge detection, linear approximation and line linking A segment measure function is simultaneously applied to each line segment extracted in order to improve the accuracy of building detection comparing to individual linear segment detection. The algorithm has been applied to pairs of stereo aerial images and the result showed accurate detection and reconstruction of buildings.

Hue 채널 영상의 다중 클래스 결합을 이용한 객체 기반 영상 분류

예철수 ( Chul-soo Ye ) 대한원격탐사학회 2021 大韓遠隔探査學會誌 Vol.37 No.6

고해상도 위성영상 분류에서 다양한 색상을 가지는 건물들과 같이 동일한 클래스에 속하지만 색상 정보가 상이한 화소들이 클래스를 구성하는 경우에는 클래스를 대표하는 색상 정보를 결정하기가 어렵다. 본 논문에서는 클래스의 대표적인 색상 정보를 결정하는 문제를 해결하기 위해 HSV(Hue Saturation Value)의 색상 채널을 분할하고 객체 기반의 분류를 수행하는 방법을 제안한다. 이를 위해 RGB 컬러 공간의 입력 영상을HSV 컬러 공간의 성분으로 변환한 후에 색상(Hue) 성분을 일정 간격의 서브채널로 분할한다. 각 색상 서브채널에 대해 최소거리기반의 영상 분류를 수행하고 분류 결과를 영상 분할 결과와 결합한다. 제안한 방법을 아리랑3A 위성영상에 적용한 결과 overall accuracy는 84.97%, kappa coefficient는 77.56%로 나타났고 상용 소프트웨어 대비 분류 정확도가 10% 이상 개선된 결과를 보였다. In high-resolution satellite image classification, when the color values of pixels belonging to one class are different, such as buildings with various colors, it is difficult to determine the color information representing the class. In this paper, to solve the problem of determining the representative color information of a class, we propose a method to divide the color channel of HSV (Hue Saturation Value) and perform object-based classification. To this end, after transforming the input image of the RGB color space into the components of the HSV color space, the Hue component is divided into subchannels at regular intervals. The minimum distance-based image classification is performed for each hue subchannel, and the classification result is combined with the image segmentation result. As a result of applying the proposed method to KOMPSAT-3A imagery, the overall accuracy was 84.97% and the kappa coefficient was 77.56%, and the classification accuracy was improved by more than 10% compared to a commercial software.

연구 논문 : 이상치 제거와 삼각망 기반의 지역 변환을 이용한 영상 등록

예철수 ( Chul Soo Ye ) 대한원격탐사학회 2014 大韓遠隔探査學會誌 Vol.30 No.6

This paper presents an image registration using Triangulation-based Local Transformation (TLT) applied to the remaining matched points after elimination of the matched points with gross error. The corners extracted using geometric mean-based corner detector are matched using Pearson’s correlation coefficient and then accepted as initial matched points only when they satisfy the Left-Right Consistency (LRC) check. We finally accept the remaining matched points whose RANdom SAmple Consensus (RANSAC)-based global transformation (RGT) errors are smaller than a predefined outlier threshold. After Delaunay triangulated irregular networks (TINs) are created using the final matched points on reference and sensed images, respectively, affine transformation is applied to every corresponding triangle and then all the inner pixels of the triangles on the sensed image are transformed to the reference image coordinate. The proposed algorithm was tested using KOMPSAT-2 images and the results showed higher image registration accuracy than the RANSAC-based global transformation.

순위 차 확산 필터를 이용한 스페클 잡음 제거

예철수 ( Chul Soo Ye ) 大韓遠隔探査學會 2009 大韓遠隔探査學會誌 Vol.25 No.1

본 논문의 목적은 원격 탐사 영상에서 잡음을 제거하기 위해 중심 화소와 통계적으로 유사한 이웃 화소들을 선택하는 방법을 제시하고 이 결과를 평균 곡률 확산과 결합하는 방법을 제시하는데 있다. 균일한 밝기값 영역에 속하는 화소들을 검출하기 위해 이웃 화소들을 순차적으로 선택할 때 그 선택하는 순서에 따라 선택된 영역의 통계적 특성이 달라지므로 이웃 화소의 선택 순서는 매우 중요하다. 본 논문에서는 통계적으로 유사한 특성을 가지는 이웃 화소를 선택하기 위해서 중심 화소와 이웃 화소의 밝기값 차를 계산하고 이를 크기 순으로 정렬하여 얻어지는 순위 차 벡터(rank-ordered differences vector)를 이용하는 효과적인 방법을 제안한다. 순위 차 벡터의 항들을 영역 확장 방법을 이용하여 균일 순위 차 벡터(homogeneous rank-ordered differences vector)와 이상점 순위 차 벡터(outlier rank-ordered differences vector)로 분할한다. 균일 순위 차 벡터의 항에 속하는 이웃 화소에 대해서만 중심 화소의 밝기값 갱신에 기여하도록 확산 계수를 선택적으로 할당하는 라인 프로세스를 평균 곡률 확산에 결합한다. 제안한 방법은 모든 이웃 화소를 이용하여 중심 화소의 밝기값을 갱신하는 기존의 잡음 제거 필터에 비해 잡음 제거 효과가 뛰어남을 항공 영상 및 TerraSAR-X 위성 영상을 이용한 실험을 통해 확인하였다. The purposes of this paper are to present a selection method of neighboring pixels whose local statistics are similar to the center pixel and combine the selection result with mean curvature diffusion filter to reduce noises in remote sensed imagery. The order of selection of neighboring pixels is critical, especially for finding a pixel belonging to the homogeneous region, since the statistics of the homogeneous region vary according to the selection order. An effective strategy for selecting neighboring pixels, which uses rank-order differences vector obtained by computing the intensity differences between the center pixel and neighboring pixels and arranging them in ascending order, is proposed in this paper. By using region growing method, we divide the elements of the rank-ordered differences vector into two groups, homogeneous rank-ordered differences vector and outlier rank-ordered differences vector. The mean curvature diffusion filter is combined with a line process, which chooses selectively diffusion coefficient of the neighboring pixels belonging into homogeneous rank-ordered differences vector. Experimental results using an aerial image and a TerraSAR-X satellite image showed that the proposed method reduced more efficiently noises than some conventional adaptive filters using all neighboring pixels in updating the center pixel.

그림자 정보를 이용한 KOMPSAT 위성영상에서의 건물 검출

예철수 ( Chul Soo Ye ),이쾌희 ( Kwae Hi Lee ) 大韓遠隔探査學會 2000 大韓遠隔探査學會誌 Vol.16 No.3

본 논문에서는 그림자 정보를 사용하여 위성 영상에서 건물을 검출하는 기법을 제안한다. 비교적 일정한 밝기값 분포를 가지는 건물을 검출하기위해 영상을 건물, 그림자 그리고 배경의 세가지 영역으로 분류한다. 건물 영역 및 그림자 영역에 대해 잡음을 제거하고 그림자 영역에 인접한 건물을 건물과 그림자 크기에 대한 제약 조건을 적용하여 검출한다. 본 논문에 사용된 영상은 KOMPSAT 위성영상과 SPOT 위성 영상을 사용하였으며 위성영상내의 건물을 효과적으로 검출할 수 있었다. This paper presents a method to detect buildings using shadow information in satellite imagery. We classify image into three categories of building region, shadow region and background region to find buildings with consistent intensity. After the removal of noises in building regions and shadow regions, buildings adjacent to shadow regions are detected using the constraint of building and shadow sizes. The algorithm has been applied to KOMPSAT and SPOT images and the result showed buildings are efficiently detected.

개선된 DeepResUNet과 컨볼루션 블록 어텐션 모듈의 결합을 이용한 의미론적 건물 분할

예철수,안영만,백태웅,김경태,Ye, Chul-Soo,Ahn, Young-Man,Baek, Tae-Woong,Kim, Kyung-Tae 대한원격탐사학회 2022 大韓遠隔探査學會誌 Vol.38 No.6

As deep learning technology advances and various high-resolution remote sensing images are available, interest in using deep learning technology and remote sensing big data to detect buildings and change in urban areas is increasing significantly. In this paper, for semantic building segmentation of high-resolution remote sensing images, we propose a new building segmentation model, Convolutional Block Attention Module (CBAM)-DRUNet that uses the DeepResUNet model, which has excellent performance in building segmentation, as the basic structure, improves the residual learning unit and combines a CBAM with the basic structure. In the performance evaluation using WHU dataset and INRIA dataset, the proposed building segmentation model showed excellent performance in terms of F1 score, accuracy and recall compared to ResUNet and DeepResUNet including UNet.

영상등록을 위한 Mutual Information 기반의 원형 템플릿 정합

예철수 ( Chul Soo Ye ) 대한원격탐사학회 2014 大韓遠隔探査學會誌 Vol.30 No.5

본 논문에서는 영상 등록을 위한 유사도 계산에 사용되는 원형 템플릿의 설계 방법을 제안한다. 원형 템플릿은 영상의 이동 및 회전 변환에 불변한 성질을 가지고 있어 기준 영상 및 관측 영상 사이에 이동 및 회전 변환이 존재하더라도 영상 등록 제어점을 정확하게 정합하는 장점이 있다. 기준 영상의 제어점을 중심으로 일정한 거리 이내에 다수의 원주를 구성하고 각 원주 위에 일정한 간격으로 위치하는 화소들로 이루어지는 원형 템플릿을 생성하고 이를 이차원 이산 극좌표 행렬(Discrete Polar Coordinate Matrix, DPCM) 으로 구성한다. 관측 영상에서도 동일한 형태의 원형 템플릿을 생성하고 탐색 범위 내의 각 위치에서 관측 영상의 원형 템플릿을 0도에서 360도 범위 내에서 일정 각도 간격으로 회전시키면서 극좌표 행렬을 생성하고 기준 영상의 극좌표 행렬과의 유사도를 Mutual Information을 이용해서 계산한다. 탐색 범위 내의 각위치와 회전 각도에 대한 Mutual Information이 최대가 되는 화소를 정합쌍으로 결정한다. 제안한 알고리즘은 서로 다른 두 시기에 촬영한 KOMPSAT-2 영상에 적용하여 영상의 회전 변화 조건하에서 우수한 정합 성능을 보임을 확인하였다. This paper presents a method for designing circular template used in similarity measurement for image registration. Circular template has translation and rotation invariant property, which results in correct matching of control points for image registration under the condition of translation and rotation between reference and sensed images. Circular template consisting of the pixels located on the multiple circumferences of the circles whose radii vary from zero to a certain distance, is converted to twodimensional Discrete Polar Coordinate Matrix (DPCM), whose elements are the pixels of the circular template. For sensed image, the same type of circular template and DPCM are created by rotating the circular template repeatedly by a certain degree in the range between 0 and 360 degrees and then similarity is calculated using mutual information of the two DPCMs. The best match is determined when the mutual information for each rotation angle at each pixel in search area is maximum. The proposed algorithm was tested using KOMPSAT-2 images acquired at two different times and the results indicate high accurate matching performance under image rotation.

블록 기반의 영상 분할과 수계 경계의 확장을 이용한 수계 검출

예철수 ( Chul-soo Ye ) 대한원격탐사학회 2016 大韓遠隔探査學會誌 Vol.32 No.5

This paper presents an extraction method for water body which uses block-based image partitioning and extension of water body boundaries to improve the performance of supervised classification for water body extraction. The Mahalanobis distance image is created by computing the spectral information of Normalized Difference Water Index (NDWI) and Near Infrared (NIR) band images over a training site within the water body in order to extract an initial water body area. To reduce the effect of noise contained in the Mahalanobis distance image, we apply mean curvature diffusion to the image, which controls diffusion coefficients based on connectivity strength between adjacent pixels and then extract the initial water body area. After partitioning the extracted water body image into the non-overlapping blocks of same size, we update the water body area using the information of water body belonging to water body boundaries. The update is performed repeatedly under the condition that the statistical distance between water body area belonging to water body boundaries and the training site is not greater than a threshold value. The accuracy assessment of the proposed algorithm was tested using KOMPSAT-2 images for the various block sizes between 11×11 and 19×19. The overall accuracy and Kappa coefficient of the algorithm varied from 99.47% to 99.53% and from 95.07% to 95.80%, respectively.

전이학습을 이용한 UNet 기반 건물 추출 딥러닝 모델의 학습률에 따른 성능 향상 분석

예철수 ( Chul-soo Ye ),안영만 ( Young-man Ahn ),백태웅 ( Tae-woong Baek ),김경태 ( Kyung-tae Kim ) 대한원격탐사학회 2023 大韓遠隔探査學會誌 Vol.39 No.5

원격탐사 영상을 이용한 지표 속성의 변화를 모니터링 하기 위해서 딥러닝(deep learning) 모델을 이용한 의미론적 영상 분할 방법이 최근에 널리 사용되고 있다. 대표적인 의미론적 영상 분할 딥러닝 모델인 UNet 모델을 비롯하여 다양한 종류의 UNet 기반의 딥러닝 모델들의 성능 향상을 위해서는 학습 데이터셋의 크기가 충분해야 한다. 학습 데이터셋의 크기가 커지면 이를 처리하는 하드웨어 요구 사항도 커지고 학습에 소요되는 시간도 크게 증가되는 문제점이 발생한다. 이런 문제를 해결할 수 있는 방법인 전이학습은 대규모의 학습 데이터 셋이 없어도 모델 성능을 향상시킬 수 있는 효과적인 방법이다. 본 논문에서는 UNet 기반의 딥러닝 모델들을 대표적인 사전 학습 모델(pretrained model)인 VGG19 모델 및 ResNet50 모델과 결합한 세 종류의 전이학습 모델인 UNet-ResNet50 모델, UNet-VGG19 모델, CBAM-DRUNet-VGG19 모델을 제시하고 이를 건물 추출에 적용하여 전이학습 적용에 따른 정확도 향상을 분석하였다. 딥러닝 모델의 성능이 학습률의 영향을 많이 받는 점을 고려하여 학습률 설정에 따른 각 모델별 성능 변화도 함께 분석하였다. 건물 추출 결과의 성능 평가를 위해서 Kompsat-3A 데이터셋, WHU 데이터셋, INRIA 데이터셋을 사용하였으며 세 종류의 데이터셋에 대한 정확도 향상의 평균은 UNet 모델 대비 UNet-ResNet50 모델이 5.1%, UNet-VGG19 모델과 CBAM-DRUNet-VGG19 모델은 동일하게 7.2%의 결과를 얻었다. In recent times, semantic image segmentation methods using deep learning models have been widely used for monitoring changes in surface attributes using remote sensing imagery. To enhance the performance of various UNet-based deep learning models, including the prominent UNet model, it is imperative to have a sufficiently large training dataset. However, enlarging the training dataset not only escalates the hardware requirements for processing but also significantly increases the time required for training. To address these issues, transfer learning is used as an effective approach, enabling performance improvement of models even in the absence of massive training datasets. In this paper we present three transfer learning models, UNet-ResNet50, UNet-VGG19, and CBAM-DRUNet-VGG19, which are combined with the representative pretrained models of VGG19 model and ResNet50 model. We applied these models to building extraction tasks and analyzed the accuracy improvements resulting from the application of transfer learning. Considering the substantial impact of learning rate on the performance of deep learning models, we also analyzed performance variations of each model based on different learning rate settings. We employed three datasets, namely Kompsat-3A dataset, WHU dataset, and INRIA dataset for evaluating the performance of building extraction results. The average accuracy improvements for the three dataset types, in comparison to the UNet model, were 5.1% for the UNet-ResNet50 model, while both UNet-VGG19 and CBAM-DRUNet-VGG19 models achieved a 7.2% improvement.