Fuzzy c-means의 문제점 및 해결 방안

허경용(Gyeong-Yong Heo),서진석(Jin-Seok Seo),이임건(Im-Geun Lee) 한국컴퓨터정보학회 2011 韓國컴퓨터情報學會論文誌 Vol.16 No.1

클러스터링은 주어진 데이터 집합을 균일한 특성을 가지는 몇 개의 그룹으로 묶는 대표적인 비교사 학습 방법 중 하나로 지금까지 다양한 형태의 알고리듬이 개발되어 다양한 응용 분야에서 사용되어 왔다. 이 중 fuzzy c-means (FCM)는 분할 기반의 클러스터링 기법에 속하는 알고리듬으로 1970년대에 정립된 이후 지금까지 사용되고 있는 대표적인 클러스터링 알고리듬 중의 하나이다. 하지만 FCM에는 여러 가지 문제점이 있으며 이를 해결하기 위해 지금까지도 다양한 FCM의 변형이 제안되고 있다. 이 논문에서는 먼저 FCM의 문제점을 살펴보고 이를 해결하기 위해 제안된 방법들을 통해 연구 방향을 제시하고자 한다. FCM의 문제점을 해결하고자 하는 대부분의 FCM 변형은 주어진 문제 영역의 지식을 활용하고 있다. 하지만 이 논문에서는 문제 영역을 한정하지 않고 모든 문제에 적용할 수 있는 일반적인 방안을 제시하는데 초점을 둔다. 제시하는 방안은 앞으로 더 많은 연구가 필요하지만 클러스터링을 연구하고자 하는 이들에게 최근의 연구 동향과 더불어 출발점을 제시할 수 있을 것으로 기대한다. Clustering is one of the well-known unsupervised learning methods, in which a data set is grouped into some number of homogeneous clusters. There are numerous clustering algorithms available and they have been used in various applications. Fuzzy c-means (FCM), the most well-known partitional clustering algorithm, was established in 1970's and still in use. However, there are some unsolved problems in FCM and variants of FCM are still under development. In this paper, the problems in FCM are first explained and the available solutions are investigated, which is aimed to give researchers some possible ways of future research. Most of the FCM variants try to solve the problems using domain knowledge specific to a given problem. However, in this paper, we try to give general solutions without using any domain knowledge. Although there are more things left than discovered, this paper may be a good starting point for researchers newly entered into a clustering area.

분류 오류 최소화를 위한 클러스터링 기법

허경용(Gyeong-Yong Heo),김성훈(Seong-Hoon Kim) 한국컴퓨터정보학회 2014 韓國컴퓨터情報學會論文誌 Vol.19 No.7

클러스터링은 대표적인 비교사 학습 방법의 하나로 균일한 특성을 가지는 데이터를 군집으로 묶기 위해 사용된다. 균일한 특성을 가지는 데이터 부분집합을 문맥으로 정의하고 문맥 내에서 국부적으로 분류를 행하는 융합 방법이 사용되고 있지만 클러스터링은 비교사 학습 방법이라는 한계로 인해 클러스터링 결과로 만들어지는 문맥이 분류에 있어 최선임을 보장하기 어렵다. 이 논문에서는 생성된 클러스터를 문맥으로 가정하고 각 문맥에서 분류를 시행하는 경우 최소의 오류를 보일 수 있는, 분류를 고려한 클러스터링 기법을 제안한다. 제안하는 방법은 선형 판별 분석에서와 유사하게 클러스터 내 동일한 클래스에 속하는 데이터 쌍은 작은 거리 값을, 서로 다른 클래스에 속하는 데이터 쌍은 큰 거리 값을 가지도록 하기 위한 제약 조건을 적용하여 분류 오류를 줄이도록 하였다. 제안한 방법의 실효성은 실험 결과를 통해 확인할 수 있다. Clustering is one of the most popular unsupervised learning methods, which is widely used to form clusters with homogeneous data. Clustering was used to extract contexts corresponding to clusters and a classification method was applied to each context or cluster individually. However, it is difficult to say that the unsupervised clustering is the best context forming method from the view of classification. In this paper, a new clustering method considering classification was proposed. The proposed method tries to minimize classification error in each cluster when a classification method is applied to each context locally. For this purpose, the proposed method adds constraints forcing two data points belong to the same class to have small distances, and two data points belong to different classes to have large distances in each cluster like in linear discriminant analysis. The usefulness of the proposed method is confirmed by experimental results.

잡음 민감성이 향상된 주성분 분석 기법의 비선형 변형

허경용(Gyeong-Yong Heo),서진석(Jin-Seok Seo),이임건(Im-Geun Lee) 한국컴퓨터정보학회 2011 韓國컴퓨터情報學會論文誌 Vol.16 No.4

주성분 분석(PCA)은 데이터의 차원을 줄이면서 최대의 데이터 변이를 보존하는 기법으로 차원 축소나 특징 추출을 위해 널리 사용되고 있다. 하지만 PCA는 잡음에 민감하며 가우스 분포에 대하여만 유효하다는 단점이 있다. 잡음 민감성의 개선을 위해 다양한 방법이 제시되었고 그 중 퍼지 소속도를 이용한 반복적 최적화 기법인 RF-PCA2가 다른 방법에 비해 우수한 성능을 보였다. 하지만 RF-PCA2는 가우스 분포에만 사용할 수 있는 선형 알고리듬이라는 한계가 있다. 이 논문에서는 RF-PCA2와 커널 주성분 분석(kernel PCA, K-PCA)을 결합하여 가우스 분포 이외의 분포들도 다룰 수 있는 비선형 알고리듬인 improved robust kernel fuzzy PCA (RKF-PCA2)를 제안한다. RKF-PCA2는 RF-PCA2 알고리듬의 잡음 강건성과K-PCA의비선형성을 통해 기존알고리듬에 비해 잡음민감성이 적으며 가우스분포 한계를 효과적으로 극복할 수 있다. 이러한 사실은 실험 결과를 통해 확인할 수 있다. Principal component analysis (PCA) is a well-known method for dimensionality reduction and feature extraction while maintaining most of the variation in data. Although PCA has been applied in many areas successfully, it is sensitive to outliers and only valid for Gaussian distributions. Several variants of PCA have been proposed to resolve noise sensitivity and, among the variants, improved robust fuzzy PCA (RF-PCA2) demonstrated promising results. RF-PCA, however, is still a linear algorithm that cannot accommodate non-Gaussian distributions. In this paper, a non-linear algorithm that combines RF-PCA2 and kernel PCA (K-PCA), called improved robust kernel fuzzy PCA (RKF-PCA2), is introduced. The kernel methods make it to accommodate non-Gaussian distributions. RKF-PCA2 inherits noise robustness from RF-PCA2 and non-linearity from K-PCA. RKF-PCA2 outperforms previous methods in handling non-Gaussian distributions in a noise robust way. Experimental results also support this.

Regularization을 이용한 Possibilistic Fuzzy C-means의 확장

허경용(Gyeong-Yong Heo),남궁영환(Young-Hwan NamKoong),김성훈(Seong-Hoon Kim) 한국컴퓨터정보학회 2010 韓國컴퓨터情報學會論文誌 Vol.15 No.1

Fuzzy c-means(FCM)와 possibilistic c-means(PCM)는 퍼지 클러스터링 영역에서 대표적인 두 가지 방법으로 많은 패턴 인식 문제들에 성공적으로 활용되어져 왔다. 하지만 이들 방법 역시 잡음 민감성과 중첩 클러스터 문제를 가지고 있다. 이들 문제점을 극복하기 위해, 최근 두 방법을 결합하려는 시도가 있어왔고, possibilistic fuzzy c-means(PFCM)는 FCM과 PCM을 목적 함수 단계에서 통합함으로써 두 방법이 가지는 문제점을 완화시키는 성공적인 결과를 보여주었다. 이 논문에서는 PFCM에 regularization을 도입함으로써 PFCM의 잡음 민감성을 한층 더 줄여줄 수 있는 향상된 PFCM을 소개한다. Regularization은 해공간을 평탄화 함으로써 잡음의 영향을 줄이는 대표적인 방법 중 하나이다. 제안한 방법은 PFCM의 장점과 더불어 regularization에 의해 잡음의 영향을 더욱 줄일 수 있으며, 이는 실험을 통해 확인할 수 있다. Fuzzy c-means (FCM) and possibilistic c-means (PCM) are the two most well-known clustering algorithms in fuzzy clustering area, and have been applied in many applications in their original or modified forms. However, FCM's noise sensitivity problem and PCM's overlapping cluster problem are also well known. Recently there have been several attempts to combine both of them to mitigate the problems and possibilistic fuzzy c-means (PFCM) showed promising results. In this paper, we proposed a modified PFCM using regularization to reduce noise sensitivity in PFCM further. Regularization is a well-known technique to make a solution space smooth and an algorithm noise insensitive. The proposed algorithm, PFCM with regularization (PFCM-R), can take advantage of regularization and further reduce the effect of noise. Experimental results are given and show that the proposed method is better than the existing methods in noisy conditions.

Support Vector Machine을 이용한 문맥 인지형 융합

허경용(Gyeong-Yong Heo),김성훈(Seong-Hoon Kim) 한국컴퓨터정보학회 2014 韓國컴퓨터情報學會論文誌 Vol.19 No.6

앙상블 분류기는 여러 개의 분류기에서의 예측 결과를 결합함으로써 단일 분류기에 비해 신뢰성 높은 예측 결과를 얻을 수 있는 방법으로 널리 사용되고 있다. 앙상블 분류기를 위해서는 여러 가지 방법이 사용되고 있으며 흔히 사용되는 방법으로는 부스팅이 있다. 하지만 부스팅은 단계적인 학습을 통해 이전 단계에서 잘못 분류된 샘플들을 다음 단계에서 다시 분류하는 방식으로 이전 단계로의 피드백이 불완전한 순차적인 방법이라는 한계가 있다. 이 논문에서는 단일 분류기 중 가장 성능이 좋은 것으로 알려진 SVM을 기본분류기로 사용하여 동시에 여러개의 SVM을 학습하는 문맥 감지형 SVM 앙상블알고리즘을 제안한다. 제안하는 방법에서는 특징 공간을 문맥으로 나누는 클러스터링과 SVM 학습을 동시에 진행하므로 특징 공간 분할과 학습이 서로의 결과를 사용할 수 있어 기존 앙상블학습에 비해 더 나은 결과를 얻을 수 있으며 이는 실험 결과를 통해 확인할 수 있다. An ensemble classifier system is a widely-used multi-classifier system, which combines the results from each classifier and, as a result, achieves better classification result than any single classifier used. Several methods have been used to build an ensemble classifier including boosting, which is a cascade method where misclassified examples in previous stage are used to boost the performance in current stage. Boosting is, however, a serial method which does not form a complete feedback loop. In this paper, proposed is context sensitive SVM ensemble (CASE) which adopts SVM, one of the best classifiers in term of classification rate, as a basic classifier and clustering method to divide feature space into contexts. As CASE divides feature space and trains SVMs simultaneously, the result from one component can be applied to the other and CASE achieves better result than boosting. Experimental results prove the usefulness of the proposed method.

커널을 이용한 전역 클러스터링의 비선형화

허경용(Gyeong-Yong Heo),김성훈(Seong-Hoon Kim),우영운(Young-Woon Woo) 한국컴퓨터정보학회 2010 韓國컴퓨터情報學會論文誌 Vol.15 No.4

Fuzzy c-means(FCM)는 퍼지 집합을 응용한 간단하지만 효율적인 클러스터링 방법 중 하나이다. FCM은 여러 응용 분야에서 성공적으로 활용되어 왔지만, 초기화와 잡음에 민감하고 볼록한 형태의 클러스터들만 다룰 수 있는 문제점이 있다. 이 논문에서는 이러한 FCM의 문제점을 해결하기 위해 전역 클러스터링(global clustering) 기법과 커널 클러스터링(kernel clustering) 기법을 결합하여 새로운 비선형 클러스터링 기법인 커널 전역 FCM(kernel global fuzzy c-means, KG-FCM)을 제안한다. 전역 클러스터링은 클러스터링의 초기화를 위한 방법 중 하나로, 순차적으로 클러스터를 하나씩 추가함으로써 초기화에 민감한 FCM의 한계를 극복할 수 있도록 해준다. FCM의 잡음 민감성과 볼록한 클러스터들만 다룰 수 있는 한계를 극복하기 위한 방법은 여러 가지가 있으며 커널 클러스터링이 그 중 하나이다. 커널 클러스터링은 사용하는 커널을 바꿈으로써 쉽게 확장이 가능하므로 이 논문에서는 커널 클러스터링을 사용하였다. 두 방법을 결합함으로써 제안한 방법은 위에서 언급한 문제점들을 해결할 수 있으며, 이는 가상 및 실제 데이터를 이용한 실험 결과를 통해 확인할 수 있다. Fuzzy c-means (FCM) is a simple but efficient clustering algorithm using the concept of a fuzzy set that has been proved to be useful in many areas. There are, however, several well known problems with FCM, such as sensitivity to initialization, sensitivity to outliers, and limitation to convex clusters. In this paper, global fuzzy c-means (G-FCM) and kernel fuzzy c-means (K-FCM) are combined to form a non-linear variant of G-FCM, called kernel global fuzzy c-means (KG-FCM). G-FCM is a variant of FCM that uses an incremental seed selection method and is effective in alleviating sensitivity to initialization. There are several approaches to reduce the influence of noise and accommodate non-convex clusters, and K-FCM is one of them. K-FCM is used in this paper because it can easily be extended with different kernels. By combining G-FCM and K-FCM, KG-FCM can resolve the shortcomings mentioned above. The usefulness of the proposed method is demonstrated by experiments using artificial and real world data sets.

행렬기반의 정합 알고리듬에 의한 음악 기호의 인식

허경용(Heo Gyeong Yong),장경식(Jang Kyung Sik),장문익(Jang Moon IK),김재희(Kim Jai Hie) 한국정보처리학회 1998 정보처리학회논문지 Vol.5 No.8

In pattern recognition and image analysis applications, a graph is a useful tool for complex object representation and recognition. However it takes much time to pair proper nodes between the prototype graph and an input data graph. Futhermore it is difficult to decide whether the two graphs in a class are the same because real images are degraded in general by noise and other distortions. In this paper we propose a matching algorithm using a matrix. The matrix is suitable for simple and easily understood representation and enables the ordering and matching process to be convenient due to its predefined matrix manipulation. The nodes which constitute a graph are ordered in the matrix by their geometrical positions and this makes it possible to save much comparison time for finding proper node pairs. For the classification, we defined a distance measure that reflects the symbol's structural aspect that is the sum of the node distance and the relation distance; the former is from the parameters describing the node shapes, the latter from the relations with other node in the matrix. We also introduced a subdivision operation to compensate node merging which is mainly due to the preprocessing error. The proposed method is applied to the recognition of musical symbols and the result is given. The result shows that almost all, except heavily degraded symbols are recognized, and the recognition rate is approximately 95 percent.

자궁경부 편평상피암에서 DDRT-PCR 기법을 이용한 유전자 발현 및 Gene Ontology 분석

서민제 ( Seo Min Je ),배수미 ( Bae Su Mi ),박경미 ( Park Gyeong Mi ),김병훈 ( Kim Byeong Hun ),김용완 ( Kim Yong Wan ),서경윤 ( Seo Gyeong Yun ),서경아 ( Seo Gyeong A ),김용욱 ( Kim Yong Ug ),허수영 ( Heo Su Yeong ),노덕영 ( No De 대한산부인과학회 2004 Obstetrics & Gynecology Science Vol.47 No.4

목적: 인유두종 바이러스 감염에 의한 자궁경부암 발생에 대한 자연사 (natural history)는 비교적 잘 알려져 있으나 분자생물학적인 면에서의 병태생리는 아직 명확하게 규명되어 있지 않다. 자궁경부 편평상피암 조직에서 유전자 발현 양상을 조사하여 암화과정에 관여하는 유전자들의 다양한 기능과 상호작용에 대해서 알아보고자 하였다. 연구 방법: 양성질환으로 자궁 적출술을 시행한 17명의 자궁경부에서 추출한 RNA를 동일한 농도로 섞어 대조군으로 이용하 Objective: The molecular pathology of cervical cancer associated with human papillomavirus infection is presently unclear. In an effort to clarify the multiple interactions of a number of genes involved in cervical carcinogenesis, the gene expression prof

Identification of Korean Polygonaceae using DNA barcode: Weed species

Gyeong-Jong Heo,Jeongran Lee,Jin-Won Kim,Hyun-A Seo,In-Yong Lee 한국농약과학회 2018 한국농약과학회 학술발표대회 논문집 Vol.2018 No.10

Interrelation of oral lead and mercury exposure on neuroimmunological characteristics of a fetal BTBR T+tf/J mice

Gyeong Dong Lim,Jung Eun Park,Jae Hee Lee,Chang Yul Kim,Hyoung Ah Kim,Yong Heo 한국실험동물학회 2015 한국실험동물학회 학술발표대회 논문집 Vol.2015 No.8