GAVaPS를 이용한 다수 K-Nearest Neighbor classifier들의 Feature 선택

이희성(Heesung Lee),이제헌(Jaehun Lee),김은태(Euntai Kim) 한국지능시스템학회 2008 한국지능시스템학회논문지 Vol.18 No.6

본 논문은 개체군 변환 유전자 알고리즘을 (GAVaPS) 이용하여 k-nearest neighbor (k-NN) 분류기에서 사용되는 특징들을 선정하는 방법을 제시한다. 우리는 다수의 k-NN 분류기들을 사용하기 때문에 사용되는 특징들을 선정하는 문제는 매우 탐색 영역이 크고 해결하기 어려운 문제이다. 따라서 우리는 효과적인 특징들의 선정을 위해 일반적인 유전자 알고리즘 (GA) 보다 효율적이라고 알려진 개체군 변환 유전자 알고리즘을 사용한다. 또한 다수 k-NN 분류기를 개체군 변환 유전자 알고리즘으로 효과적으로 결합하는 방법을 제시한다. 제안하는 알고리즘의 우수성을 여러 실험을 통해 보여준다. This paper deals with the feature selection for multiple k-nearest neighbor (k-NN) classifiers using Genetic Algorithm with Varying Population Size (GAVaPS). Because we use multiple k-NN classifiers, the feature selection problem for them is vary hard and has large search region. To solve this problem, we employ the GAVaPS which outperforms comparison with simple genetic algorithm (SGA). Further, we propose the efficient combining method for multiple k-NN classifiers using GAVaPS. Experiments are performed to demonstrate the efficiency of the proposed method.

거리 정보 융합을 이용한 K-Nearest Neighbor 규칙

이희성(Heesung Lee) 한국지능시스템학회 2018 한국지능시스템학회논문지 Vol.28 No.2

K-Nearest Neighbor (KNN)는 분류할 테스트 데이터와 주어진 학습 데이터와의 거리를 계산하여 가까운 거리의 K개의 학습 데이터의 가장 높은 빈도수를 갖는 클래스를 테스트 데이터의 클래스로 결정하는 방법이다. KNN 분류기는 효율성과 우수한 성능으로 인해 다양한 분야에서 사용되고 있다. 하지만 선정된 K개의 학습 데이터들이 거리에 상관없이 같은 기여도를 갖는 문제점을 가지고 있다. 본 논문에서는 확률적 접근을 통해 이 문제를 해결한다. 우선 테스트 데이터와 학습 데이터의 거리 정보를 이용하여 각각의 확률을 생성한 후에 베이지안 접근방법을 이용하여 생성된 확률들을 누적하여 테스트 데이터의 클래스를 결정하는 시스템을 제안한다. 제안하는 알고리즘의 우수성을 보여주기 위하여 UCI repository에서 선택된 여러 데이터베이스들을 이용한 실험을 수행하였다. The K-nearest neighbor (KNN) is a method to determine the class of input pattern through distance between test data and training data. The KNN classifies a test pattern by assigning it the laebl of most frequent samples among K nearest samples. It has bnee widely used in several pattern recognition area because it is very sipmle and shows good perform. However, it has problem that the lseected K samples have the same contribution regardless of distance. In this paper, this problem is solved through a probabilistic approach. First, each probability is generated by using distance between test pattern and K nearest sample. Then identification probability is accumulated recursively in a Bayesian framework to classify the test pattern. To demonstrate the performance of the proposed method, we perform experiments on various databases selected i nUCI repository.

자동차 검출을 위한 GAVaPS를 이용한 최적 분류기 앙상블 설계

이희성(Heesung Lee),이제헌(Jaehun Lee),김은태(Euntai Kim) 제어로봇시스템학회 2010 제어·로봇·시스템학회 논문지 Vol.16 No.1

This paper proposes novel genetic design of optimal classifier ensemble for vehicle detection using Genetic Algorithm with Varying Population Size (GAVaPS). Recently, many classifiers are used in classifier ensemble to deal with tremendous amounts of data. However the problem has a exponential large search space due to the increasing the number of classifier pool. To solve this problem, we employ the GAVaPS which outperforms comparison with simple genetic algorithm (SGA). Experiments are performed to demonstrate the efficiency of the proposed method.

신경 회로망과 칼만 필터를 결합한 새로운 방식의 로봇 위치인식 알고리즘

이희성(HeeSung Lee),김은태(EunTai Kim),박민용(Mignon Park) 한국지능시스템학회 2004 한국지능시스템학회 학술발표 논문집 Vol.14 No.1

본 논문에서는 외향 기반 접근법을 기반으로 한 로봇의 위치 추정 알고리즘을 제안 한다. 로봇이 작업을 수행할 공간에서 강한 상관관계를 갖는 영상들을 취득하여 eigenspace로 투영시킴으로써 주성분의 추출을 수행한다. 이 추출된 주성분은 신경 회로망을 이용해 eigenspace 에서의 연속 외향 함수(continuous appearance function)로 나타낼 수 있다. 로봇의 위치 추정을 위해 새로운 영상이 주어지변 이것을 eigenspace로 투영 시킨 후 연속 외향 합수를 통해 로봇의 현재 위치를 추정한다. 최종적으로는, 영상안의 데이터에 칼만 필터를 적용함으로써 로봇의 정확한 위치와 영상으로 획득된 정보 사이의 오차를 이용하여 보다 정확한 이동 로봇의 위치를 추정하는 알고리즘을 제안 한다.

유전자 알고리즘을 이용한 강인한 Support vector machine 설계

이희성(Heesung Lee),홍성준(Sungjun Hong),이병윤(Byungyun Lee),김은태(Euntai Kim) 한국지능시스템학회 2010 한국지능시스템학회논문지 Vol.20 No.3

Support vector machine (SVM)은 튼튼한 이론적 배경을 가지고 있고 구조적 위험을 성공적으로 최소화하기 때문에 추천가 시스템과 같은 다양한 패턴 인식 분야에서 사용되고 있다. 하지만 SVM이 초평면을 결정할 때 이상점들은 margin 손실들을 가지고 있기 때문에 이들은 초평면을 결정하는데 매우 중요한 역할을 하고 있다. 그 이유로 SVM은 이상점들에게 매우 민감한 문제점을 갖는다. 강인한 SVM을 위해 우리는 이상점들의 margin 손실의 최대치를 제한하지만 이것은 non-convex 최적화 문제를 포함한다. 따라서 본 논문에서는 non-convex 최적화 문제에 적합한 유전자 알고리즘을 이용하여 강인한 SVM을 설계하는 방법을 제안한다. 제안하는 알고리즘의 우수성을 보여주기 위하여 UCI repository에서 선택된 여러 데이터베이스들을 이용한 실험을 수행하였다. The support vector machine (SVM) has been widely used in variety pattern recognition problems applicable to recommendation systems due to its strong theoretical foundation and excellent empirical successes. However, SVM is sensitive to the presence of outliers since outlier points can have the largest margin loss and play a critical role in determining the decision hyperplane. For robust SVM, we limit the maximum value of margin loss which includes the non-convex optimization problem. Therefore, we proposed the design method of robust SVM using genetic algorithm (GA) which can solve the non-convex optimization problem. To demonstrate the performance of the proposed method, we perform experiments on various databases selected in UCI repository.

Camera Calibration using the TSK fuzzy system

Heesung Lee(이희성),Sungjun Hong(홍성준),Kyungsae Oh(오경세),Euntai kim(김은태) 한국지능시스템학회 2006 한국지능시스템학회 학술발표 논문집 Vol.16 No.1

Camera calibration in machine vision is the process of determining the intrinsic cameara parameters and the three-dimensional (3D) position and orientation of the camera frame relative to a certain world coordinate system. On the other hand, Takagi-Sugeno-Kang (TSK) fuzzy system is a very popular fuzzy system and approximates any nonlinear function to arbitrary accuracy with only a small number of fuzzy rules. It demonstrates not only nonlinear behavior but also transparent structure. In this paper, we present a novel and simple technique for camera calibration for machine vision using TSK fuzzy model. The proposed method divides the world into some regions according to camera view and uses the clustered 3D geometric knowledge. TSK fuzzy system is employed to estimate the camera parameters by combining partial information into complete 3D information. The experiments are performed to verify the proposed camera calibration.

A New Approach to Multi-objective Error Correcting Code Design Method

이희성(Heesung Lee),김은태(Euntai Kim) 한국지능시스템학회 2008 한국지능시스템학회논문지 Vol.18 No.5

Error correcting codes는 일반적으로 soft error를 막기 위해서 사용된다. single error의 수정과 double error의 검출 (SEC-DED) 코드들은 이런 목적으로 사용된다. 본 논문애서는 이러한 회로의 크기, 지연시간, 전력 소비를 선택적으로 최소로 하는 SEC-DED의 설계방법을 제안한다. 이러한 SEC-DED의 설계는 비선형 최적화 문제로 포함되는데 우리는 다목적 유전자 알고리즘을 이용하여 이 문제를 해결한다. 제안하는 방법은 여러 가지 SEC-DED code들을 제공하여 사용자의 환경에 따라 알맞은 회로를 선택할 수 있도록 한다. 제안하는 방법을 효율적인 ECC코드로 알려져 있는 odd-column weight Hsiao code에 적용하여 그 효율성을 입증하였다. Error correcting codes (ECCs) are commonly used to protect against the soft errors. Single error correcting and double error detecting (SEC-DED) codes are generally used for this purpose. The proposed approach in this paper selectively reduced power consumption, delay, and area in single-error correcting, double error-detecting checker circuits that perform memory error correction. The multi-objective genetic algorithm is employed to solve the non-linear optimization problem. The proposed method allows that user can choose one of different non-dominated solutions depending on which consideration is important among them. Because we use multi-objective genetic algorithm, we can find various dominated solutions. Therefore, we can choose the ECC according to the important factor of the power, delay and area. The method is applied to odd-column weight Hsiao code which is well-known ECC code and experiments were performed to show the performance of the proposed method.

K-nearest neighbor를 위한 퍼지를 이용한 확률 정보의 결합

이희성(Heesung Lee),홍성준(Sungjun Hong),이병윤(Byungyun Lee),김은태(Euntai Kim) 한국지능시스템학회 2010 한국지능시스템학회 학술발표 논문집 Vol.20 No.2

K-nearest neighbor는 입력 패턴의 클래스를 테스트 데이터와 학습 데이터와의 거리를 통해 결정하는 방법으로써 효율성과 우수한 성능으로 인해 여러 분야에서 많이 쓰이고 있다. 반면에 선정된 K개의 학습 데이터들이 거리에 상관없이 같은 기여도를 갖는 문제점을 가지고 있다. 본 논문에서는 확률적 접근을 통해 이 문제를 해결한다. 우선 테스트 데이터와 학습 데이터의 거리 정보를 이용하여 각각의 확률을 생성한 후에 퍼지 시스템을 이용하여 이 확률을 융합한다. 제안하는 알고리즘의 타당성을 보이기 위하여 두 개의 데이터베이스를 사용하였으며 기존의 방법에 비해 우수함을 볼 수 있었다.

유전자 알고리즘을 이용하여 설계된 ECC회로의 uniform distribution memory data에서의 성능 분석

이희성(Heesung Lee),김은태(Euntai Kim) 대한전자공학회 2007 대한전자공학회 학술대회 Vol.2007 No.7

This paper shows a performance analysis of the ECC circuit which is designed by genetic algorithm for reducing power consumption. In single-error correcting. double error-detecting checker circuits. the power is minimized with little or no impact on area and delay. using the degrees of freedom in selecting the parity check matrix of the error correcting codes. The genetic algorithm is employed to solve the non-linear power optimization problem. The method is applied to two commonly used SEC-DED codes: Hamming and odd column weight Hsiao codes. Experiments are performed to show the performance of the proposed method.

다양한 유전 연산자를 이용한 저전력 오류 정정 코드 설계

이희성(Heesung Lee),홍성준(Sungjun Hong),안성제(Sungje An),김은태(Euntai Kim) 한국지능시스템학회 2009 한국지능시스템학회논문지 Vol.19 No.2

저전력 환경에서의 메모리 집적도가 증가함에 따라 메모리는 soft error에 매우 민감해졌다. 오류 정정 코드는 일반적으로 양산 이후 메모리의 soft error를 수정하기 위해서 사용된다. 본 논문에서는 새로운 저전력 오류 정정 코드의 설계방법을 제안한다. 오류 정정 코드의 전력소비는 parity check 행렬의 선택을 통해 최소화 될 수 있다. 따라서 오류 정정 코드의 설계는 비선형 최적화 문제로 포함되는데 우리는 다양한 유전 연산자를 포함하는 유전자 알고리즘을 이용하여 이 문제를 해결한다. 제안하는 방법을 Hamming code와 Hsiao code에 적용하여 그 효율성을 입증하였다. The memory is very sensitive to the soft error because the integration of the memory increases under low power environment. Error correcting codes (ECCs) are commonly used to protect against the soft errors. This paper proposes a new genetic ECC design method which reduces power consumption. Power is minimized using the degrees of freedom in selecting the parity check matrix of the ECCs. Therefore, the genetic algorithm which has the novel genetic operators tailored for this formulation is employed to solve the non-linear power optimization problem Experiments are performed with Hamming code and Hsiao code to illustrate the performance of the proposed method.