데이터 분할 평가 진화알고리즘을 이용한 효율적인 퍼지 분류규칙의 생성

류정우(Joung Woo Ryu),김성은(Sungeun Kim),김명원(Myung Won Kim) 한국지능시스템학회 2008 한국지능시스템학회논문지 Vol.18 No.1

데이터 속성 값이 연속적이고 애매할 때 퍼지 규칙으로 분류규칙을 표현하는 것은 매우 유용하면서도 효과적이다. 그러나 효과적인 퍼지 분류규칙을 생성하기 위한 소속함수를 결정하기는 어렵다. 본 논문에서는 진화알고리즘을 이용하여 효과적인 퍼지 분류규칙을 자동으로 생성하는 방법을 제안한다. 제안한 방법은 지도 군집화로 클래스 분포에 따라 초기 소속함수를 생성하고, 정확하고 간결한 규칙을 생성할 수 있도록 초기 소속함수를 진화시키는 방법이다. 또한 진화알고리즘의 시간에 대한 효율성을 높이기 위한 방법으로 데이터 분할 평가 진화 방법을 제안한다. 데이터 분할 평가 진화 방법은 전체 학습 데이터를 여러 개의 부분 학습 데이터들로 나누고 개체는 전체 학습 데이터 대신 부분 학습 데이터를 임의로 선택하여 평가하는 방법이다. UCI 벤치마크 데이터로 기존 방법과 비교 실험을 통해 평균적으로 제안한 방법이 효과적임을 보였다. 또한 KDD'99 Cup의 침입탐지 데이터에서 KDD'99 Cup 우승자에 비해 1.54% 향상된 인식률과 20.8% 절감된 탐지비용을 보였고 데이터 분할 평가 진화 방법으로 개체평가 시간을 약 70% 감소시켰다. Fuzzy rules are very useful and efficient to describe classification rules especially when the attribute values are continuous and fuzzy in nature. However, it is generally difficult to determine membership functions for generating efficient fuzzy classification rules. In this paper, we propose a method of automatic generation of efficient fuzzy classification rules using evolutionary algorithm. In our method we generate a set of initial membership functions for evolutionary algorithm by supervised clustering the training data set and we evolve the set of initial membership functions in order to generate fuzzy classification rules taking into consideration both classification accuracy and rule comprehensibility. To reduce time to evaluate an individual we also propose an evolutionary algorithm with data partition evaluation in which the training data set is partitioned into a number of subsets and individuals are evaluated using a randomly selected subset of data at a time instead of the whole training data set. We experimented our algorithm with the UCI learning data sets, the experiment results showed that our method was more efficient at average compared with the existing algorithms For the evolutionary algorithm with data partition evaluation, we experimented with our method over the intrusion detection data of KDD'’99 Cup, and confirmed that evaluation time was reduced by about 70%. Compared with the KDD'99 Cup winner, the accuracy was increased by 1.54% while the cost was reduced by 20.8%.

휴리스틱 진화에 기반한 효율적 클러스터링 알고리즘

류정우(Joung Woo Ryu),강명구(Myung Ku Kang),김명원(Myung Won Kim) 한국정보과학회 2002 정보과학회논문지 : 소프트웨어 및 응용 Vol.29 No.1·2

클러스터링이란 한 군집에 포함된 데이타들 간의 유사한 성질을 갖도록 데이타들을 묶는 것으로 패턴인식, 영상처리 등의 공학 분야에 널리 적용되고 있을 뿐 아니라, 최근 많은 관심의 대상이 되고 있는 데이타 마이닝의 주요 기술로서 활발히 응용되고 있다. 클러스터링에 있어서 K-means나 FCM(Fuzzy C-means)와 같은 기존의 알고리즘들은 지역적 최적해에 수렴하는 것과 사전에 클러스터 개수를 미리 결정해야 하는 문제점을 가지고 있다. 본 논문에서는 진화 알고리즘을 사용하여 지역적 최적해에 수렴되는 문제점을 개선하였으며, 클러스터링의 특성을 분산도와 분리도로 정의하였다. 분산도는 임의의 클러스터의 중심으로부터 포함된 데이타들이 어느 정도 흩어져 있는지를 나타내는 척도인 반면, 분리도는 임의의 데이타와 모든 클러스터 중심간의 거리의 비율로서 얻어지는 소속정도를 고려하여 클러스터 중심간의 거리를 나타내는 척도이다. 이 두 척도를 이용하여 자동으로 적절한 클러스터 개수를 결정하게 하였다. 또한 진화알고리즘의 문제점인 탐색공간의 확대에 따른 수행시간의 증가는 휴리스틱 연산을 적용함으로써 크게 개선하였다. 제안한 알고리즘의 성능 및 타당성을 보이기 위해 이차원과 다차원 실험데이타를 사용하여 실험한 결과 제안한 알고리즘의 성능이 우수함을 나타내었다. Clustering is a useful technique for grouping data points such that points within a single group/cluster have similar characteristics. Many clustering algorithms have been developed and used in engineering applications including pattern recognition and image processing etc. Recently, it has drawn increasing attention as one of important techniques in data mining. However, clustering algorithms such as K-means and Fuzzy C-means suffer from difficulties. Those are the needs to determine the number of clusters apriori and the clustering results depending on the initial set of clusters which fails to gain desirable results. In this paper, we propose a new clustering algorithm, which solves the above mentioned problems. In our method we use evolutionary algorithm to solve the local optima problem that clustering converges to an undesirable state starting with an inappropriate set of clusters. We also adopt a new measure that represents how well data are clustered. The measure is determined in terms of both intra-cluster dispersion and inter-cluster separability. Using the measure, in our method the number of clusters is automatically determined as the result of optimization process. And also, we combine heuristic that is problem-specific knowledge with a evolutionary algorithm to speed evolutionary algorithm search. We have experimented our algorithm with several sets of multi-dimensional data and it has been shown that one algorithm outperforms the existing algorithms.

힘 센서를 이용한 접촉감지부에서 신경망기반 인간의 접촉행동 인식

류정우(Joung-Woo Ryu),박천수(Cheon-Shu Park),손주찬(Joo-Chan Sohn) 한국정보과학회 2007 정보과학회논문지 : 소프트웨어 및 응용 Vol.34 No.10

인간-로봇 상호작용에서 접촉은 인간에게 정서적 안정을 줄 수 있는 중요한 상호작용 방법 중 하나이다. 그러나 지금까지 음성과 영상을 기반으로 인간-로봇 상호작용이 이루어지는 연구가 대부분이었다. 본 논문에서는 접촉을 통한 인간-로봇 상호작용을 위해 인간의 접촉행동을 인식하는 방법을 제안한다. 제안한 인식 방법에서 인식 과정은 전처리 단계와 인식 단계로 나뉜다. 전처리 단계는 접촉감지부에서 생성된 데이타로부터 인식할 수 있는 특징들을 계산하는 단계이고 인식 단계는 인식기를 통해 접촉행동으로 분류하는 단계이다. 접촉감지부는 힘 센서인 FSR 센서를 이용하여 제작하였고 인식기는 신경망 모델인 다층퍼셉트론을 사용하였다. 실험은 남자 여섯 명에 의해 생성된 세 가지 접촉행동; ‘때리다’, ‘쓰다듬다’, ‘간질이다’ 데이타를 가지고, 사람별로 인식기를 생성하여 cross-validation으로 평가한 결과 82.9%의 평균 인식률을 보였고, 사람별 구분 없이 한 개의 인식기로 실험한 결과는 74.5%의 평균 인식률을 보였다. Of the possible interactions between human and robot, touch is an important means of providing human beings with emotional relief. However, most previous studies have focused on interactions based on voice and images. In this paper, a method of recognizing human touching behaviors is proposed for developing a robot that can naturally interact with humans through touch. In this method, the recognition process is divided into pre-process and recognition phases. In the pre-process phase, recognizable characteristics are calculated from the data generated by the touch detector which was fabricated using force sensors. The force sensor used an FSR (force sensing registor). The recognition phase classifies human touching behaviors using a multi-layer perceptron which is a neural network model. Experimental data was generated by six men employing three types of human touching behaviors including 'hitting', 'stroking' and 'tickling'. As the experimental result of a recognizer being generated for each user and being evaluated as cross-validation, the average recognition rate was 82.9% while the result of a single recognizer for all users showed a 74.5% average recognition rate.

진화 알고리즘에서 휴리스틱 연산

류정우(Joung Woo Ryu),김명원(Myung Won Kim) 한국정보과학회 2001 한국정보과학회 학술발표논문집 Vol.28 No.2Ⅱ

진화 알고리즘에서 고려할 사항 중 하나는 문제와 관련 있는 진화연산 즉, 교배 연산과 돌연변이 연산을 정의하는 것이다. 일반적으로 교배 연산은 두 개체의 정보를 교환하는 재조합 연산으로써 진화의 속도를 촉진시키는 역할을 하고 돌연변이 연산은 개체집단의 다양성을 유지시키는 역할을 한다. 그러나 이러한 진화연산자는 확률에 근거하여 모든 개체에 적용되는 맹목적인 연산이 가질 수 있는 진화시간 지연의 문제점을 갖는다. 본 논문에서는 맹목적 진화연산에 의한 진화 시간 지연을 해결하기 위해 휴리스틱 연산을 제안한다. 휴리스틱 연산은 문제의 특성에 맞지 않는 개체에만 적용되는 연산으로 진화 시간을 단축시킬 수 있다. 따라서 이러한 휴리스틱 연산의 타당성을 확인하기 위해 본 논문에서는 진화 알고리즘을 이용하여 최적의 클러스터 위치와 개수를 자동으로 찾아주는 문제에 클러스터의 특성을 고려한 휴리스틱 연산인 합병연산과 분할연산 그리고 K-means연산을 정의하여 다차원 실험데이터로 실험한 결과를 보이고 있다.

빅데이터를 위한 가시화

류정우(Joung Woo Ryu),송진희(Jin-Hee Song) 한국콘텐츠학회 2014 한국콘텐츠학회지 Vol.12 No.1

신경망을 이용한 이중모달 음성 인식 모델링

류정우(Joung-Woo Ryu),성지애(Ji-Ae Sung),이순신(Sunshine Lee),김명원(Myoung-Won Kim) 한국정보과학회 2003 한국정보과학회 학술발표논문집 Vol.30 No.1B

최근 잡음환경에서 강인한 음성인식을 위해 음성 잡음에 영향을 받지 않은 영상정보를 이용한 이중모달 응성인식 연구가 활발히 진행되고 있다. 기존 음성인식기로 좋은 성능을 보이는 HMM은 이질적인 정보를 융합하는데 있어 많은 제약과 어려움을 가지고 있다. 하지만 신경망은 이질적인 정보를 효율적으로 융합할 수 있는 장점을 가지고 있으며 그에 대한 많은 연구가 수행되고 있다. 따라서 본 논문에서는 잡음환경에 강인한 이중모달 음성 인식 모델로 이중모달 신경망(BN-NN)¹)을 제안한다. 이중모달 신경망은 특징융합 방법으로 음성정보와 영상정보를 융합하고 있으며, 입력정보의 특성을 고려하기 위해 윈도우와 중복영역의 개념을 적용하여 시제위치를 고려하도록 설계되어있다. 제안된 모델은 잡음환경에서 음성인식기와 성능을 비교하고, 화자독립 고립단어 인식에서 기존 융합방영인 CHMM과 비교하여 그 가능성을 확인한다.

문맥정보를 이용한 이중모드 음성인식

류정우(Joung Woo Ryu),김은주(Eun Ju Kim),김명원(Myung Won Kim) 한국정보과학회 2004 한국정보과학회 학술발표논문집 Vol.31 No.1B

최근 잡음환경에서 신뢰도 높은 음성인식을 위해 음성정보와 영상정보를 융합하는 이중모드 음성인식 방법이 활발히 연구되고 있다. 본 논문에서는 보다 음성 인식률을 향상시키기 위해 사용자가 말한 단어들의 순차 패턴을 나타내는 문맥정보를 이용한 후처리 방법을 제안한다. 이러한 문맥정보를 인식하기 위해 다층퍼셉트론 구조를 갖는 문맥정보 인식기를 제안한다. 이중모드 음성인식기와 문맥정보 인식기 결과를 효율적으로 결합하기 위한 후처리 방법으로 순차 결합방법을 제안한다. 문맥정보를 이용한 이중모드 음성인식이 잡음 환경에서 90%이상의 인식률을 보였다. 본 논문은 잡음환경에서 강인한 음성인식을 위해 문맥정보와 같은 사용자 행동패턴이 새로운 정보로 이용될 수 있다는 가능성을 제시한다.

휴리스틱 진화 알고리즘을 이용한 클러스터링 알고리즘

류정우(Joung Woo Ryu),강명구(Myung Ku Kang),김명원(Myung Won Kim) 한국정보과학회 2000 한국정보과학회 학술발표논문집 Vol.27 No.2Ⅱ

클러스터링이란 주어진 데이터들을 유사한 성질을 가지는 군집으로 나누는 것으로 많은 분야에서 응용되고 있으며, 특히 최근 관심의 대상인 데이터 마이닝의 중요한 기술로서 활발히 응용되고 있다. 클러스터링에 있어서 기존의 알고리즘들은 지역적 최적해에 수렴하는 것과 사전에 클러스터 개수를 미리 결정해야 하는 문제점을 가지고 있다. 본 논문에서는 병렬 탐색을 통해 최적해를 찾는 진화알고리즘을 사용하여 지역적 최적해에 수렴되는 문제점을 개선하였으며, 자동으로 적절한 클러스터 개수를 결정할 수 있게 하였다. 또한 진화알고리즘의 단점인 탐색공간의 확대에 따른 탐색시간의 증가는 휴리스틱 연산을 정의하여 개선하였다. 제안한 알고리즘의 성능 및 타당성을 보이기 위해 가우시안 분포 데이터를 사용하여 제안한 알고리즘의 성능이 우수함을 보였다.

기상예보기반 화재발생 확률 예측모델의 생성 기법

류정우(Joung Woo Ryu),김영진(Young Jin Kim),김은주(Eun Ju Kim),김명원(Myung Won Kim) 한국정보과학회 2014 정보과학회 컴퓨팅의 실제 논문지 Vol.20 No.2

본 논문에서는 지역별 기상조건에 따라 화재가 발생할 확률을 예측하는 모델생성방법을 제안한다. 예측모델은 기상데이터와 화재조사데이터를 이용해서 의사결정트리로 생성된다. 화재조사데이터는 주기적으로 관측되는 기상데이터와 다르게 그 생성주기가 불규칙하다. 또한 기상데이터는 지역별로 생성되지만 화재조사데이터는 지역의 특정지점에서 생성된다. 이와 같이 데이터의 생성주기와 지역범위가 다른 두 데이터를 가지고 생성시킨 모델에서 기상조건에 따라 화재 발생확률을 계산할 때 고려해야할 사항을 제시하고, 그 해결책을 제안한다. 실험에서는 16개 시도별로 5년 동안 발생된 화재조사데이터와 기상데이터를 가지고 각각 시도별 의사결정트리를 생성하였다. 생성된 16개의 트리 전부는 단지 루트노드로만 구성된 트리보다 더 작은 오차를 보였으며, 평균 111.37개의 IF~THEN 형태의 규칙들을 생성하였다. 생성된 규칙들을 통해 화재가 습도와 관련성이 높다는 현업에서의 가정에 부합되는 것을 확인하였다. This paper proposes a method for predicting the probability of fire occurrence through weather conditions in a region. The proposed prediction model is generated using a decision tree algorithm from a data set, which combines fire investigation data with weather data observed every hour. The fire investigation data are irregularly generated, unlike the periodically generated weather data. A fire occurs at a specific location in a region, but a weather datum is measured over the region. We refer to a factor to be considered in calculating fire probability from a decision tree which is generated from the combined data set. We generated 16 decision trees, which predicts the probability of fire occurrence in the corresponding region, from fire investigation data and weather data generated during five years in each of seven major cities and nine states of South Korea. All of the 16 decision trees produced lower mean absolution errors than decision trees each of which consists of only the root node. They also produced an average of 111.37 rules in the form of IF-THEN statements. The rule set shows to be consistent with the assumption that fire and humidity have a close relationship.

스트리밍 데이터 분류를 위한 데이터 분포 기반 앙상블 모델

류정우(Joung Woo Ryu),김명원(Myung Won Kim) 한국정보과학회 2013 정보과학회논문지 : 데이타베이스 Vol.40 No.2

스트리밍 데이터에서 분류기는 그것의 학습데이터와 분류할 데이터간의 분포가 다를 수 있기 때문에 갱신되어야 한다. 그러나 어느 데이터가 현재 분류기의 학습데이터와 동일한 분포에서 발생되는 데이터인지 알 수 없다. 따라서 주기적으로 분류기를 갱신하는 것이 일반적인 방법이다. 이러한 접근방법에서는 갱신 주기를 데이터 개수로 결정하였을 때, 사전에 분류기의 갱신 주기를 짧게 설정하면 불필요하게 분류기를 갱신하게 되고, 반대로 갱신 주기를 길게 설정하면 스트리밍 데이터 분포 변화에 대한 분류기 적응이 느려진다. 본 논문에서는 학습 데이터를 이용하여 분류기를 갱신하기 위한 데이터들을 온라인상에서 선택할 수 있는 방법을 제안하고, 이를 적용하여 스트리밍 데이터에서 앙상블 분류기를 생성한다. 제안한 방법은 온라인에서 데이터 선택 주기가 짧아지면 분류기 갱신이 자주 일어나고, 선택 주기가 길어지면 분류기 갱신주기가 길어진다. 제안한 방법을 적용한 앙상블이 9개의 실험 데이터에 대해서 기존 방법을 적용한 앙상블에 비해 평균 10.2% 레이블된 데이터를 가지고 평균 5.1% 단일 분류기를 생성하면서 거의 동등한 수준의 정확성을 얻었다. 또한 제안한 방법이 효율적으로 앙상블을 갱신하는지를 확인하기 위해서 3개의 벤치마크 스트리밍 데이터를 사용하여 단일 분류기의 생성 시점을 분석하였다. In data stream environments classifiers have to be refined because distributions that are different from the current data distribution can occur. However, we can not know if the current datum is driven from the current data distribution or not. According to the reason, classifiers are generally refined based on regular time interval. In such a approach if a period of time is predefined as a small value, a classifier that maintains the current performance can be unnecessarily refined by human experts. If it is predefined as a large value, a classifier can not be refined more quickly when its classification accuracy is decreasing. In this paper, we select data for refining a classifier from streaming data in an online process. Our selection methodology uses training data, and is applied to built an ensemble of classifiers over streaming data. We compared the results of our ensemble approach and of a conventional ensemble approach where new classifiers for an ensemble are periodically generated. In experiments with nine benchmark data sets including three real streaming data sets, our ensemble approach generated an average of 5.1% classifiers using an average of 10.2% labeled data for the conventional ensemble approach, and produced comparable classification accuracy. To exhibit our approach efficiently generates new classifiers for an ensemble over streaming data, we analyzed the three real streaming data sets in a time domain.