잠재적 오분류 데이터를 고려한 이미지 분류 딥러닝 모델의 정확도 평가 방법

이영우,송민주,채흥석 한국정보과학회 2021 정보과학회논문지 Vol.48 No.6

이미지 분류 딥러닝 모델은 이미지가 변형되었을 때 이미지의 유형을 잘못 분류하는 문제가 발생한다. 기존 정확도 평가 방법은 이미지가 변형되어 잠재적으로 잘못 분류될 수 있는 이미지들을 고려하지 않아 이미지의 유형을 정확하게 분류했다고 하더라도 평가 결과를 신뢰하기 어렵다. 본 연구는 잠재적으로 잘못 분류될 수 있는 데이터를 고려한 이미지 분류 딥러닝 모델의 정확도 평가 방법을 제안하였다. 모델과 데이터 셋 별로 잠재적 오분류 데이터를 식별하기 위한 경계 비용을 측정하고, 경계 비용을 바탕으로 잠재적 오분류 데이터를 식별하였다. 그리고 잠재적 오분류 데이터를 고려한 정확도를 측정하였다. 잠재적 오분류 데이터 식별 결과, 0.1~4.2%의 데이터가 잠재적 오분류 데이터로 식별되었으며, 이 중 18 ~60%가 실제로 잘못 분류되었다. 정확도 평가 결과, 정확도가 높은 모델은 이미지 변형에 대해 강건하며, 정확도가 낮은 모델일수록 이미지 변형에 대해 강건하지 못한 것으로 판단되었다. Image classification deep learning models have a problem of misclassifying the type of image when the image is modified. As the existing accuracy evaluation methods do not take into account images that can potentially be misclassified due to modification of the image, it becomes to trust the evaluation result even if the type of image is accurately classified. In this study, we have proposed a method for evaluating the accuracy of image classification deep learning models considering the potentially misclassified data. We have measured the boundary cost to identify potentially misclassified data for each model and data set and identified potentially misclassified data based on the boundary cost. Also, we have measured the accuracy considering the potentially misclassified data. As a result of identifying potentially misclassified data, 0.1~4.2% of the data were identified as potentially misclassified data, of which approximately 18~60% were actually misclassified. As a result of the accuracy evaluation, it was estimated that the higher-accuracy model was more robust to image modification, and the lower-accuracy model was less robust to image modification.

위성영상의 토지정보 분석정확도 향상을 위한 응용체계의 개발 : 다중시기 영상과 주성분분석 및 정준상관분류 알고리즘을 이용하여

박민호(Park Min-Ho) 대한토목학회 2008 대한토목학회논문집 D Vol.28 No.4D

본 연구의 목적은 위성영상으로부터 보다 정확한 토지정보를 취득하기 위해 다중시기데이터의 혼합과 특정 영상강조기법 및 영상분류알고리즘을 병합하여 적용하는 응용분류체계의 개발이다. 즉, 본 연구에서는 혼합된 다중시기데이터를 주성분분석한 후 정준상관분류기법을 적용하는 분류과정을 제안한다. 이 분류과정의 결과를 단일영상별 정준상관분류결과, 다중시기 혼합영상의 정준상관분류결과, 시기별 주성분분석 후 정준상관분류결과와 비교한다. 사용된 위성영상은 1994년 7월 26일과 1996년 9월 l일에 취득된 Landsat 5 TM 영상이다. 정확도평가를 위한 지상실제데이터는 지형도 및 항공사진으로부터 취득 되었으며, 연구대상영역 전체가 정확도평가 대상으로 사용되었다. 제안된 응용분류체계는 단일영상만을 사용하여 정준상관분류를 수행한 경우보다 분류정확도변에서 약 8.2% 상승되는 우수한 효과를 보여주었다. 특히, 복잡한 토지특성이 혼합되어 있는 도시역을 정확히 분류하는데 유효하였다. 결론적으로 Landsat TM 영상을 사용한 토지피복정보 추출시 분류정확도를 높이기 위해서, 다중시기영상을 사전에 주성분분석 후 정준상관분류기법을 적용하면 매우 효과적임을 확인하였다. The purpose of this study is focused on the development of compound classification process by mixing multi temporal data and annexing a specific image enhancement technique with a specific image classification algorithm, to gain more accurate land information from satellite imagery. That is, this study suggests the classification process using canonical correlation classification technique after principal component analysis for the mixed multitemporal data. The result of this proposed classification process is compared with the canonical correlation classification result of one date images, multitemporal imagery and a mixed image after principal component analysis for one date images. The satellite images which are used are the Landsat 5 TM images acquired on July 26, 1994 and September 1, 1996. Ground truth data for accuracy assessment is obtained from topographic map and aerial photograph, and all of the study area is used for accuracy assessment. The proposed compound classification process showed superior efficiency to appling canonical correlation classification technique for only one date image in classification accuracy by 8.2%. Especially, it was valid in classifying mixed urban area correctly. Conclusively, to improve the classification accuracy when extracting land cover information using Landsat TM image, appling canonical correlation classification technique after principal component analysis for multitemporal imagery is very useful.

IKONOS 영상자료를 이용한 토지피복도 개선

장동호,김만규 한국공간정보학회 2003 한국공간정보학회지 Vol.11 No.2

고해상도 위성영상분석은 국지적 규모의 토지피복 변화 및 대기 상태의 모니터링을 위한 효과적인 기술로 인식되어 왔다. 본 연구에서는 고해상도 영상인 IKONOS 영상과 기존에 작성된 토지이용도를 이용하여 국지적 규모의 토지피복도를 새로 작성하였다. 토지피복 분류기법으로는 퍼지분류 기법을 사용하였으며, 소속함수의 결합방법으로 minimum 연산자를 이용하였다. 분리도 분석에서는 모든 밴드에서 분리도가 높지 않은데, 원인은 계절적 영향에 따른 분광반사율의 차이 때문이다. 토지피복도 작성결과 육상에서는 침엽수림과 경지가, 해양에서는 간석지 및 해빈의 변화가 가장 크다. 분류의 전체정확도는 95.0%, kappa 계수는 0.94%로 나타나 높은 분류정확도를 보였다. 분류항목별 정확도에서는 대부분의 분류항목이 90% 이상의 분류정확도를 보였다. 그러나 혼합림과 하천 및 저수지 등은 낮은 분류정확도를 보였다. 이들 원인은 농경지 담수로 인하여 수역으로 분류항목이 변하거나 유사한 분광패턴으로 분류항목이 혼재된 결과이다. 이들 분류항목의 분류정확도를 높이기 위해서는 계절적 요인을 반드시 고려하여야 할 것이다. 결론적으로 IKONOS 영상은 토지이용도 작성 및 수정이 가능하며, 추후 GIS 공간자료와 통합하여 토지피복도를 작성한다면 보다 정확한 의사결정 보조 자료로서 유용하게 활용될 수 있을 것이다. High resolution satellite image analysis has been recognized as an effective technique for monitoring local land-cover and atmospheric changes. In this study, a new high resolution map for land-cover was generated using both high-resolution IKONOS image and conventional land-use mapping. Fuzzy classification method was applied to classify land-cover, with minimum operator used as a tool for joint membership functions. In separateness analysis, the values were not great for all bands due to discrepancies in spectral reflectance by seasonal variation. The land-cover map generated in this study revealed that conifer forests and farm land in the ground and tidal flat and beach in the ocean were highly changeable. The kappa coefficient was 0.94% and the overall accuracy of classification was 95.0%, thus suggesting a overall high classification accuracy. Accuracy of classification in each class was generally over 90%, whereas low classification accuracy was obtained for classes of mixed forest, river and reservoir. This may be a result of the changes in classification, e.g. reclassification of paddy field as water area after water storage or mixed use of several classification class due to similar spectral patterns. Seasonal factors should be considered to achieve higher accuracy in classification class. In conclusion, firstly, IKONOS image are used to generated a new improved high resolution land-cover map. Secondly, IKONOS image could serve as useful complementary data for decision making when combined with GIS spatial data to produce land-use map.

지상 분광반사자료를 훈련샘플로 이용한 감독분류의 정확도 평가

신정일(Shin, Jung Il),김익재(Kim, Ik Jae),김동욱(Kim, Dong Wook) 대한공간정보학회 2016 대한공간정보학회지 Vol.24 No.1

많은 연구들에서 영상자료와 분류 알고리즘 측면에서 분류정확도를 비교하였지만, 참조자료 또는 분석자에 의존하는 훈련샘플에 의한 분류정확도 비교와 관련된 연구는 부족한 실정이다. 본 연구는 감독분류에 있어 훈련샘플로써 지상 분광반사자료의 유용성을 평가하고자 하였다. 이를 위하여 초분광영상과 다중분광영상을 대상으로 영상 수집 훈련샘플과 지상 분광반사자료를 사용하여 분류 정확도를 비교하였다. 그 결과 영상 수집 훈련샘플 사용 시 초분광영상과 다중분광영상에서 공통적으로 약 90%의 분류정확도를 얻을 수 있었다. 그러나 지상 분광반사자료를 훈련 샘플로 사용하면 초분광영상의 경우 약 10%p, 다중분광영상의 경우 약 20%p의 분류정확도 감소가 발생하였다. 특히 다중분광영상에서 분광반사특성이 유사하게 나타나는 클래스들의 경우 분류정확도가 초분광영상에 비해 매우 낮게 나타났다. 따라서 지상 분광반사자료는 다중분광영상에 적용하는 데에는 한계가 있지만, 초분광영상을 이용한 토지피복분류에 있어 유용한 훈련샘플이 될 수 있다. Many studies are focused on image data and classifier for comparison or improvement of classification accuracy. Therefore studies are needed aspect of the training samples on supervised classification which depend on reference data or skill of analyst. This study tries to assess usability of field spectra as training samples on supervised classification. Classification accuracies of hyperspectral and multispectral images were assessed using training samples from image itself and field spectra, respectively. The results shown about 90% accuracy with training sample collected from image. Using field spectra as training sample, accuracy was decreased 10%p for hyperspectral image, and 20%p for multispectral image. Especially, some classes shown very low accuracies due to similar spectral characteristics on multispectral image. Therefore, field spectra might be used as training samples on classification of hyperspectral image, although it has limitation for multispectral image.

항공 라이다와 항공 영상 데이터를 이용한 융합된 타일 기반 지형 분류 기법

이성규,김남수,김유성 한국정보과학회 2012 데이타베이스 연구 Vol.28 No.1

최근 국토의 구성 및 변화를 탐지하기 위해서 항공 라이다 데이터를 활용하여 지표면의 구성을 정확하게 분류하기 위한 지형 분류 기법들이 연구되고 있다. 특히 기존의 점 기반 분류 방법의 비효율성을 극복하기 위해 지형을 타일 단위로 분할하여 분류하는 타일 기반 지형 분류 방법은 처리속도 면에서 향상되었지만 좁은 영역의 복잡한 지형에 대해서 분류 정확도가 저하된다는 단점을 가지고 있다. 본 논문에서는 항공 라이다 데이터에 대한 타일 단위의 지형 분류의 정확도를 증진하기 위해서 항공 영상을 항공 라이다 데이터와 같은 크기의 타일로 분할하고 이미지 처리 기법들을 통해 특징들을 추출하여 지형 분류에 함께 활용하는 융합된 타일 기반 지형 분류 기법을 제안하였다. 실험 결과에 의하면 제안된 융합된 타일 기반 지형 분류 기법은 항공 라이다 데이터 또는 항공 영상만을 이용한 기존의 방법보다 높은 분류 정확도를 갖는 것으로 판명되었다. For the purposes of accurate analyzing and monitoring land configuration and usages, several topographical classification schemes using LiDAR(Light Detection and Rangine) data have been widely studied. Although tile-based classification schemes have been proposed to overcome the inefficient computation problem of point-based schemes, the tile-based scheme has low accuracy especially against complex configurations in narrow area. In this paper, an integrated tile-based topographical classification scheme is proposed in which several characteristics of aerial image tile which is pre-splitted according to the aerial LiDAR tile is also used to enhance the classification accuracy of the previous tile-based scheme. According to the experimental results, the proposed integrated tile-based scheme is known to be able to improve the classification accuracy of the previous tile-based ones.

Index of Union와 다른 정확도 측도들

홍종선,최소연,임동휘 한국통계학회 2020 응용통계연구 Vol.33 No.4

최적분류점에 대한 대부분의 정확도 측도들은 두 종류의 누적분포함수와 확률밀도함수를 기반으로 정의하거나 또는 ROC 곡선과 AUC를 기반으로 정의하는 방법으로 구분하는데, Unal (2017)은 두 가지 방법을 혼합하여 누적분포함수와 AUC를 모두 고려하는 정확도 측도 Index of Union (IU) 통계량을 제안하였다. 본 연구에서는 IU 통계량을 포함한 열 개의 정확도 측도들을 여섯 종류의 범주로 구분하여 각 범주에 속하는 측도들을 비교하면서 IU의 장점을 연구한다. 다양한 정규혼합분포를 설정하여 각각의 측도들에 대응하는 최적분류점들을 구하고 각 분류점에 대응하는 제1종과 제2종 오류 그리고 두 종류의 오류합을 구해서 오류들의 크기를 비교하면서 분류정확도 측도들의 판별력을 비교하면서 IU의 성격과 특징을 탐색한다. 두 종류 분포들의 평균 차이가 증가할수록 IU 통계량의 제1종 오류와 오류합의 크기가 최고의 분류정확도를 갖는 제2범주의 정확도 측도의 오류에 수렴하는 것을 발견하였다. 그러므로 IU는 모형의 판별력을 평가하는 정확도 측도로 활용할 수 있다. Most classification accuracy measures for optimal threshold are divided into two types: one is expressed with cumulative distribution functions and probability density functions, the other is based on ROC curve and AUC. Unal (2017) proposed the index of union (IU) as an accuracy measure that considers two types to get them. In this study, ten kinds of accuracy measures (including IU) are divided into six categories, and the advantages of the IU are studied by comparing the measures belonging to each category. The optimal thresholds of these measures are obtained by setting various normal mixture distributions; subsequently, the first and second type of errors as well as the error sums corresponding to each threshold are calculated. The properties and characteristics of the IU statistic are explored by comparing the discriminative power of other accuracy measures based on error values.The values of the first type error and error sum of IU statistic converge to those of the best accuracy measures of the second category as the mean difference between the two distributions increases. Therefore, IU could be an accuracy measure to evaluate the discriminant power of a model.

비용곡선과 ROC곡선에서의 비용비율

홍종선,유현상,Hong, Chong-Sun,Yoo, Hyun-Sang 한국통계학회 2010 Communications for statistical applications and me Vol.17 No.6

혼합분포의 분류문제에서 비용함수를 고려한 분류점은 최소 기대비용이라는 측면에서 최적이다. 비용에 관한 어떠한 정보가 주어지지 않은 경우에 ROC곡선을 이용하여 분류정확도 측도인 전체정확도와 진실율이 최대일 때의 분류점에 대응하는 기대비용에서의 비용비율을제안하고, 최소 기대비용의 비용비율과의 관계를 설명한다. 그리고 비용곡선을 이용하여 분류정확도 측도들에 기반하는 최소 기대비용에서의 비용비율을 제안하였고 이 비용비율은 대표적인 두 종류의 분류정확도가 최대일 때의 기대비용에 대한 비용비율들 사이에 존재하며, 최소 기대비용에서의 비용비율에 수렴하는 것을 발견하였다. 본 연구는 기대비용과 정규화된 기대비용을 최소화할 때의 비용비율과 분류정확도가 최대일 때의 비용비율들의 관계를 토론한다. For classification problems on mixture distribution, a threshold based on cost functions is optimal from the viewpoint of a minimum expected cost. Assuming that there is no cost information, we propose cost ratios in the expected cost corresponding to thresholds where the total accuracy and the true rate are maximized to explain the relation of these cost ratios minimizing the expected cost. Other cost ratios are also proposed by comparing the normalized expected costs when classification accuracy is maximized. The values of these cost ratios are located between two cost ratios for the expected costs based on classification accuracies, and converge to that of the minimum expected cost. This work suggests two cost ratios: one is minimized by the expected cost and the normalized expected cost, and the other in the expected cost and the normalized expected cost functions that are maximized classification accuracies. We discuss their compatibility based on the relation of these cost ratios.

정규혼합에서 분류정확도 측도들의 최적기준

유현상,홍종선,Yoo, Hyun-Sang,Hong, Chong-Sun 한국통계학회 2011 Communications for statistical applications and me Vol.18 No.3

두 분포함수의 혼합모형을 가정한 자료에서 적절한 분류점을 찾고 평가하는 것은 중요한 문제이다. 분류정확도 측도로 많이 사용하는 아홉 종류의 MVD, Youden지수, (0,1)까지 최단기준, 수정된(0,1)까지 최단 기준, SSS, 대칭점, 정확도면적, TA, TR에 대하여 설명하고, 이 측도들의 관계를 발견하면서 정확도 측도들의 조건을 몇 개의 범주로 군집화한다. 정규혼합분포를 가정하여 군집된 측도들에 기반하는 분류점들을 구하고, 그 분류점에 대응하는 제I종 오류율과 제II종 오류율 그리고 두 종류의 오류율합을 구하여 크기를 비교하고 토론하다. 추정된 혼합분포에 대하여 어떤 분류 정확도 측도의 제I종과 II종 오류율 또는 오류율합이 최소인지를 탐색할 수 있으며 자주 인용하는 정확도 측도의 장점과 단점을 파악할 수 있다. For a data with the assumption of the mixture distribution, it is important to find an appropriate threshold and evaluate its performance. The relationship is found of well-known nine classification accuracy measures such as MVD, Youden's index, the closest-to-(0, 1) criterion, the amended closest-to-(0, 1) criterion, SSS, symmetry point, accuracy area, TA, TR. Then some conditions of these measures are categorized into seven groups. Under the normal mixture assumption, we calculate thresholds based on these measures and obtain the corresponding type I and II errors. We could explore that which classification measure has minimum type I and II errors for estimated mixture distribution to understand the strength and weakness of these classification measures.

대규모 준거참조평가에서 성취수준의 분류 일치도와 정확도 분석

송미영,김성숙,박인용 한국교육평가학회 2013 교육평가연구 Vol.26 No.2

이 연구는 우리나라의 대표적 대규모 준거참조평가인 국가수준 학업성취도 평가의 성취수준 분류에 대한 일치도와 정확도를 분석하였다. 초·중·고등학생들의 교과별 성취 수준은, 변형된 앙고프 방법을 활용하여 설정된 세 개의 분할점수를 기준으로 우수학력, 보통학력, 기초학력, 기초학력미달의 네 수준으로 분류된다. 베타-이항분포, 문항반응이론, 일반화가능도이론 등의 세 가지 방법을 적용하여 성취수준 분류의 신뢰도를 검토한 결과, 네 단계의 성취수준을 모두 고려할 때 분류 일치도 계수는 0.625~0.825, 우연에 의한 확률을 제거한 후 분류결정이 일치될 확률인 K 계수는 0.429~0.680, 분류 정확도 계수는 0.719~0.892로 학생들의 성취수준은 일관성 있고 정확하게 분류된 것으로 나타났다. 이와 같이 국가수준 학업성취도 평가의 신뢰도를 검증하고, 이러한 방법을 적용하여 성취수준을 여러 단계로 분류하는 준거참조평가의 신뢰도를 검증하고자 하는 경우에 고려해야 할 사항들에 대해 제언하였다. The study described procedures for estimating various indices of classification consistency and accuracy for multiple category classifications using data from a single test administration. The estimates of the classification consistency and accuracy indices were compared under beta binomial model, three-parameter logistic IRT model, and G theory. Using real data sets from the National Assessment of Educational Achievement, the reliability of criterion-referenced assessment was examined. The consistency coefficients, p and k ranged 0.625~0.825, and 0.429~0.680, respectively, and the accuracy coefficients did 0.719~0.892 for multiple classification. This results showed that the classification of the examinee were consistent and accurate.

Best-First decision tree 기법을 적용한 심전도 데이터 분류기의 정확도 향상에 관한 연구

이현주 ( Hyunju Lee ),신동규 ( Dongkyoo Shin ),박희원 ( Heewon Park ),김수한 ( Soohan Kim ),신동일 ( Dongil Shin ) 한국인터넷정보학회 2011 인터넷정보학회논문지 Vol.12 No.6

심전도 질환 데이터는 일반적으로 분류기를 사용한 실험이 많다. 심전도 신호는 QRS-Complex와 R-R interval을 추출하는 경우가 많은데 본 실험에서는 R-R interval을 추출하여 실험하였다. 심전도 데이터의 분류기 실험은 일반적으로 SVM(Support Vector Machine)과 MLP(Multilayer Perceptron) 분류기로 수행되지만 본 실험은 정확도 향상을 위해 Random Forest 분류기 알고리즘 중 Decision Tree를 Best-First Decision Tree(B-F Tree)로 수정하여 실험하였다. 그리고 정확도 비교분석을 위해 SVM, MLP, RBF(Radial Basic Function) Network와 Decision Tree 분류기 실험을 같이 수행하였고, 동일한 데이터와 간격으로 실험한 타 논문의 결과와 비교해보았다. 수정한 Random Forest 분류기의 정확도를 다른 네 개의 분류기와 타 논문의 실험과 비교해보니 정확도 부분에서는 Random Forest가 가장 우수하였다. 본 실험의 전처리 과정은 대역통과 필터(Band-pass filter)를 사용하여 R-R interval을 추출하였는데 향후에는 정확한 간격을 추출하기 위한 필터의 연구가 사려된다. Cardiac disorder data are generally tested using the classifier and QRS-Complex and R-R interval which is used in this experiment are often extracted by ECG(Electrocardiogram) signals. The experimentation of ECG data with classifier is generally performed with SVM(Support Vector Machine) and MLP(Multilayer Perceptron) classifier, but this study experimented with Best-First Decision Tree(B-F Tree) derived from the Dicision Tree among Random Forest classifier algorithms to improve accuracy. To compare and analyze accuracy, experimentation of SVM, MLP, RBF(Radial Basic Function) Network and Decision Tree classifiers are performed and also compared the result of announced papers carried out under same interval and data. Comparing the accuracy of Random Forest classifier with above four ones, Random Forest is the best in accuracy. As though R-R interval was extracted using Band-pass filter in pre-processing of this experiment, in future, more filter study is needed to extract accurate interval.