Support Vector Machine 기반의 클러스터링 기법

김만선,이상용 公州大學校 工學硏究院 生産技術硏究所 2004 論文集 Vol.12 No.-

Clustering is a process of dividing similar data objects in data set into clusters and acquiring meaningful information in the data. The main issues related to clustering are the effective clustering of high dimensional data and optimization. This study proposed a method of measuring similarity based on SVM and a new method of calculating the number of clusters in an efficient way. The high dimensional data are mapped to feature space ones using kernel functions and then similarity between neighboring clusters is measured. As for created clusters, the desired number of clusters can be got using the value of similarity measured and the value of Δd. In order to verify the proposed methods, the author used data of six UCI machine learning repositories and obtained the presented number of clusters as well as improved cohesiveness compared to the results of previous researches.

모바일 환경을 위한 지능형 추천 에이전트에 관한 연구

김만선,주복규 한국콘텐츠학회 2006 한국콘텐츠학회논문지 Vol.6 No.4

Important issues emerging with the opening of the ubiquitous age are how to present ubiquitous environment and how services and access methods can be provided to users. The present research proposes a system that can provide users with useful information dynamically through intelligent multiagents in mobile environment. The system is composed of profile module, rule generation module, filtering module and service module. It was designed to find users’ demands in an intelligent way based on information on users registered through the recommendation agent. We implemented an applied system and proved its performance through an experiment. 유비쿼터스 시대가 시작되면서 유비쿼터스 환경을 어떻게 제시할 것인지와 어떤 서비스와 이용 방법을 사용자에게 제공할 것인지가 중요해지고 있다. 본 논문에서는 모바일 환경에서 지능형 멀티 에이전트를 통해 사용자에게 도움되는 정보를 능동적으로 제공할 수 있는 시스템을 제안한다. 프로파일 모듀르 규칙생성 모듈, 필터링 모듈, 서비스 모듈 구조로 구성된다. 추천 에이전트를 이용하여 미리 등록한 사용자의 정보를 기반으로 지능적인 사용자의 요구 파악을 가능하게 구성하였다. 이것을 응용하여 구현하고 실험을 통해 확인하였다.

클래스 불균형 문제를 해결하기 위한 개선된 집중 샘플링

김만선,양형정,김수형,챠위핑,Kim, Man-Sun,Yang, Hyung-Jeong,Kim, Soo-Hyung,Cheah, Wooi Ping 한국정보처리학회 2007 정보처리학회논문지B Vol.14 No.4

실세계의 문제에서 많은 기계학습의 알고리즘들은 데이터의 클래스 불균형 문제에 어려움을 겪는다. 이러한 클래스 불균형 문제를 해결하기 위하여 데이터의 비율을 변경하거나 좀 더 나은 샘플링 전략으로 극복하려는 연구들이 제안되었다. 그러나 데이터의 비율을 변경하는 연구에서는 전체 데이터 분포의 특성을 고려하지 못하고, 샘플링 전략을 제안하는 연구에서는 여러 가지 제한 조건을 고려해야만 한다. 본 논문에서는 위의 두가지 방법의 장점을 모두 포함하는 개선된 집중 샘플링 방법을 제안한다. 제안된 방법에서는 클래스 불균형 문제를 해결하기 위해 학습에 유용한 데이터들을 샘플링하는데 스코어링에 기반한 데이터 분할 방법을 이용한다. 즉, 입력 데이터들에 대해 SOM(Self Organizing Map)의 학습 결과로 얻은 BMU(Best Matching Unit)와의 거리를 계산하고, 이 거리론 스코어라 한다. 측정된 스코어는 오름차순으로 정렬되며, 이 과정에서 입력 데이터의 분포가 재 표현되고, 재 표현된 분포는 전체 데이터의 특성을 대표하게 된다. 그 결과로 얻은 데이터들 중에서 유용하지 못한 데이터들에 대해 제거하는 과정을 수행하여 새로운 학습 데이터 셋을 얻는다. 새로운 학습 데이터 생성 과정에서는 재 표현된 분포의 결과를 두 구간(upper, lower)으로 분할하는데, 두 추간 사이의 데이터들은 유용하지 못한 패턴들로 간주되어 학습에 이용되지 않는다. 본 논문에서 제안한 방법은 클래스 불균형의 비율 감수 훈련 데이터의 크기 감소, 과적합의 방지 등 몇 가지 장점을 보인다. 제안한 방법으로 샘플링된 데이터에 kNN 을 적용하여, 분류 실험한 결과 심한 불균형이 있는 ecoli 데이터의 분류 성능이 최대 2.27배 향상되었다. Many classification algorithms for real world data suffer from a data class imbalance problem. To solve this problem, various methods have been proposed such as altering the training balance and designing better sampling strategies. The previous methods are not satisfy in the distribution of the input data and the constraint. In this paper, we propose a focused sampling method which is more superior than previous methods. To solve the problem, we must select some useful data set from all training sets. To get useful data set, the proposed method devide the region according to scores which are computed based on the distribution of SOM over the input data. The scores are sorted in ascending order. They represent the distribution or the input data, which may in turn represent the characteristics or the whole data. A new training dataset is obtained by eliminating unuseful data which are located in the region between an upper bound and a lower bound. The proposed method gives a better or at least similar performance compare to classification accuracy of previous approaches. Besides, it also gives several benefits : ratio reduction of class imbalance; size reduction of training sets; prevention of over-fitting. The proposed method has been tested with kNN classifier. An experimental result in ecoli data set shows that this method achieves the precision up to 2.27 times than the other methods.

심전도 신호의 패턴 분류를 위한 Support Vector Machine 성능 분석

김만선,이상용 公州大學校 工學硏究院 生産技術硏究所 2003 論文集 Vol.11 No.-

ECG consists of various waveforms of electric signals of heat. Datamining can be used for analyzing and classifying the waveforms. Conventional studies classifying electrocardiogram have problems like extraction of distorted characteristics, overfitting, etc. This study classifies electrocardiograms by using BP algorithm and SVM to solve the problems. As results, this study finds that SVM provides an effective prohibition of overfitting in neural networks and guarantees a sole global solution, showing excellence in generalization performance.

신경망을 이용한 대용량 데이터 처리를 위한 군집화 방법

김만선,이상용 공주대학교 생산기술연구소 2002 論文集 Vol.10 No.-

Data mining plays an important role in a knowledge discovery process and various algorithms of data mining can be selected for the specific purpose. Most of traditional clustering methods are suitable for processing small data sets, so they have difficulties in handling large data sets because of limited resources and insufficient efficiency. In this paper, we proposed a clustering method using neural networks, called GHSOM(Growing Hierarchical Self-Organizing Map). GHSOM resolved SON's problem which has to forecast the number of units. Also the new method overcame the limitation of hierarchical clustering methods.

대용량 데이터 처리를 위한 하이브리드형 클러스터링 기법

김만선,이상용,Kim, Man-Sun,Lee, Sang-Yong 한국정보처리학회 2003 정보처리학회논문지B Vol.10 No.1

데이터 마이닝은 지식발견 과정에서 중요한 역할을 수행하며, 여러 데이터 마이닝의 알고리즘들은 특정의 목적을 위하여 선택될 수 있다. 대부분의 전통적인 계층적 클러스터링 방법은 적은 양의 데이터 집합을 처리하는데 적합하여 제한된 리소스와 부족한 효율성으로 인하여 대용량의 데이터 집합을 다루기가 곤란하다. 본 연구에서는 대용량의 데이터에 적용되어 알려지지 않은 패턴을 발견할 수 있는 하이브리드형 신경망 클러스터링 기법의 PPC(Pre-Post Clustrering) 기법을 제안한다. PPC 기법은 인공지능적 방법인 자기조직화지도(SOM)와 통계적 방법인 계층적 클러스터링을 결합하여 두 과정에서는 군집의 내부적 특징을 나타내는 응집거리와 군집간의 외부적 거리를 나타내는 인접거리에 따라 유사도를 측정한다. 최종적으로 PPC 기법은 측정된 유사도를 이용하여 대용량 데이터 집합을 군집화한다. PPC 기법은 UCI Repository 데이터를 이용하여 실험해 본 결과, 다른 클러스터링 기법들 보다 우수한 응집도를 보였다. Data mining plays an important role in a knowledge discovery process and various algorithms of data mining can be selected for the specific purpose. Most of traditional hierachical clustering methode are suitable for processing small data sets, so they difficulties in handling large data sets because of limited resources and insufficient efficiency. In this study we propose a hybrid neural networks clustering technique, called PPC for Pre-Post Clustering that can be applied to large data sets and find unknown patterns. PPC combinds an artificial intelligence method, SOM and a statistical method, hierarchical clustering technique, and clusters data through two processes. In pre-clustering process, PPC digests large data sets using SOM. Then in post-clustering, PPC measures Similarity values according to cohesive distances which show inner features, and adjacent distances which show external distances between clusters. At last PPC clusters large data sets using the simularity values. Experiment with UCI repository data showed that PPC had better cohensive values than the other clustering techniques.

데이터 마이닝을 위한 하이브리드형 군집화기법

김만선,이상용 공주대학교 과학교육연구소 2002 과학교육연구 Vol.33 No.-

최근 대용량의 데이터베이스로부터 유용한 정보를 발견하고 데이터 간에 존재하는 연관성을 탐색하고 분석하는 데이터 마이닝에 관한 많은 연구들이 진행되고 있다. 실제 응용분야에선 수집된 데이터는 시간이 지날수록 데이터의 양이 늘어나게 되고, 중복되는 속성과 잡음을 갖게 되어 마이닝 기법을 이용하는데 많은 시간과 비용이 소요된다. 또한 어느 속성이 중요한지 알 수 없어 중요한 속성이 중요하지 않은 속성에 의해 왜곡되거나 제대로 분석되지 않을 수 있다. 이 논문은 이러한 문제점들을 해결하기 위해, 대용량의 데이터에 적용할 수 있는 데이터에서 알려지지 않은 패턴을 발견할 뿐만 아니라, 사용자가 얻고자 하는 출력을 생성할 수 있는 혼합형 신경망클러스터링 기법을 제안한다. 그리고 알고리즘의 타당성을 검증하기 위해 몇 가지 벤치마크 데이터를 이용하여 본 논문의 타당성을 보인다. Data mining plays an important role in a knowledge discovery process and various existing algorithms are usually selected for the specific purpose of the mining. Clustering in data mining is a discovering process of meaningful information by grouping similar data into compact clusters. Most of traditional clustering methods are in favor of small data sets, so have difficulties handling very large data sets because of limited resources and lack of efficiency. we propose a new clustering technique, PPC(Pre Post Clustering) that can be applied to large data sets and find clusters with good quality. Experimental results show that PPC can discover better clusters in comparison to traditional clustering methods.

친디아&지역 : 중국 ; 우한(武漢) -중부지역 경제 선도 도시-

김만선 포스코경영연구원 2006 CHINDIA Plus Vol.4 No.-

클래스 불균형 문제를 해결하기 위한 개선된 집중 샘플링

김만선,양형정,김수형,Wooi Ping Cheah 한국정보처리학회 2007 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.14 No.4

Many classification algorithms for real world data suffer from a data class imbalance problem. To solve this problem, various methods have been proposed such as altering the training balance and designing better sampling strategies. The previous methods are not satisfy in the distribution of the input data and the constraint. In this paper, we propose a focused sampling method which is more superior than previous methods. To solve the problem, we must select some useful data set from all training sets. To get useful data set, the proposed method devide the region according to scores which are computed based on the distribution of SOM over the input data. The scores are sorted in ascending order. They represent the distribution of the input data, which may in turn represent the characteristics of the whole data. A new training dataset is obtained by eliminating unuseful data which are located in the region between an upper bound and a lower bound. The proposed method gives a better or at least similar performance compare to classification accuracy of previous approaches. Besides, it also gives several benefits : ratio reduction of class imbalance; size reduction of training sets; prevention of over-fitting. The proposed method has been tested with kNN classifier. An experimental result in ecoli data set shows that this method achieves the precision up to 2.27 times than the other methods. 실세계의 문제에서 많은 기계학습의 알고리즘들은 데이터의 클래스 불균형 문제에 어려움을 겪는다. 이러한 클래스 불균형 문제를 해결하기 위하여 데이터의 비율을 변경하거나 좀 더 나은 샘플링 전략으로 극복하려는 연구들이 제안되었다. 그러나 데이터의 비율을 변경하는 연구에서는 전체 데이터 분포의 특성을 고려하지 못하고, 샘플링 전략을 제안하는 연구에서는 여러 가지 제한 조건을 고려해야만 한다. 본 논문에서는 위의 두가지 방법의 장점을 모두 포함하는 개선된 집중 샘플링 방법을 제안한다. 제안된 방법에서는 클래스 불균형 문제를 해결하기 위해 학습에 유용한 데이터들을 샘플링하는데 스코어링에 기반한 데이터 분할 방법을 이용한다. 즉, 입력 데이터들에 대해 SOM(Self Organizing Map)의 학습 결과로 얻은 BMU(Best Matching Unit)와의 거리를 계산하고, 이 거리를 스코어라 한다. 측정된 스코어는 오름차순으로 정렬되며, 이 과정에서 입력 데이터의 분포가 재 표현되고, 재 표현된 분포는 전체 데이터의 특성을 대표하게 된다. 그 결과로 얻은 데이터들 중에서 유용하지 못한 데이터들에 대해 제거하는 과정을 수행하여 새로운 학습 데이터 셋을 얻는다. 새로운 학습 데이터 생성 과정에서는 재 표현된 분포의 결과를 두 구간(upper, lower)으로 분할하는데, 두 구간 사이의 데이터들은 유용하지 못한 패턴들로 간주되어 학습에 이용되지 않는다. 본 논문에서 제안한 방법은 클래스 불균형의 비율 감소, 훈련 데이터의 크기 감소, 과적합의 방지 등 몇 가지 장점을 보인다. 제안한 방법으로 샘플링된 데이터에 kNN 을 적용하여, 분류 실험한 결과 심한 불균형이 있는 ecoli 데이터의 분류 성능이 최대 2.27배 향상되었다.

대용량 데이터 처리를 위한 하이브리드형 클러스터링 기법

김만선,이상용 한국정보처리학회 2003 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.10 No.1