재귀적 분할 평균에 기반한 점진적 규칙 추출 알고리즘

한진철(Jin-Chul Han),김상귀(Sang-Kwi Kim),윤충화(Chung-Hwa Yoon) 한국정보과학회 2007 정보과학회논문지 : 소프트웨어 및 응용 Vol.34 No.1

패턴 분류에 많이 사용되는 기법 중의 하나인 메모리 기반 추론 알고리즘은 단순히 메모리에 저장된 학습패턴 또는 초월평면과 테스트 패턴간의 거리를 계산하여 가장 가까운 학습패턴의 클래스로 분류하기 때문에 테스트 패턴을 분류하는 기준을 설명할 수 없다는 문제점을 가지고 있다. 이 문제를 해결하기 위하여, 메모리 기반 학습 기법인 RPA를 기반으로 학습패턴들에 내재된 규칙성을 표현하는 IF-THEN 형태의 규칙을 생성하는 점진적 학습 알고리즘을 제안하였다. 하지만, RPA에 의해 생성된 규칙은 주어진 학습패턴 집합에만 충실히 학습되어 overfitting 현상을 보이게 되며, 또한 패턴 공간의 과도한 분할로 인하여 필요 이상으로 많은 개수의 규칙이 생성된다. 따라서, 본 논문에서는 생성된 규칙으로부터 불필요한 조건을 제거함으로써overfitting 현상을 해결함과 동시에 생성되는 규칙의 개수를 줄일 수 있는 점진적 규칙 추출 알고리즘을 제안하였으며, UCI Machine Learning Repository의 벤치마크 데이타를 이용하여 제안한 알고리즘의 성능을 입증하였다. One of the popular methods used for pattern classification is the MBR (Memory-Based Reasoning) algorithm. Since it simply computes distances between a test pattern and training patterns or hyperplanes stored in memory, and then assigns the class of the nearest training pattern, it cannot explain how the classification result is obtained. In order to overcome this problem, we propose an incremental learning algorithm based on RPA (Recursive Partition Averaging) to extract IF-THEN rules that describe regularities inherent in training patterns. But rules generated by RPA eventually show an overfitting phenomenon, because they depend too strongly on the details of given training patterns. Also RPA produces more number of rules than necessary, due to over-partitioning of the pattern space. Consequently, we present the IREA (Incremental Rule Extraction Algorithm) that overcomes overfitting problem by removing useless conditions from rules and reduces the number of rules at the same time. We verify the performance of proposed algorithm using benchmark data sets from UCI Machine Learning Repository.

새로운 점진적 인스턴스 기반 학습기법

한진철 ( Jin-chul Han ),윤충화 ( Chung-hwa Yoon ) 한국정보처리학회 2005 한국정보처리학회 학술대회논문집 Vol.12 No.2

메모리 기반 추론 기법에서 기억공간의 효율적 사용과 분류 시간을 줄이기 위한 다양한 방법들이 연구되고 있으며, NGE(Nested Generalized Exemplar) 이론을 예로 들 수 있다. 본 논문에서는 학습 패턴 집합으로부터 대표패턴을 생성하는 RPA(Recursive Partition Averaging) 기법과 점진적으로 대표패턴을 추출하는 IRPA(Incremental RPA) 기법을 제안한다.

재귀분할을 이용한 새로운 점진적 인스턴스 기반 학습기법

한진철,김상귀,윤충화,Han Jin-Chul,Kim Sang-Kwi,Yoon Chung-Hwa 한국정보처리학회 2006 정보처리학회논문지B Vol.13 No.2

인스턴스 기반 학습의 대표적인 알고리즘인 k-NK(K-Nearest Neighbors)은 단순히 전체 학습패턴을 메모리에 저장한 다음, 분류할 때 학습 패턴들과의 거리를 계산하여 가장 가까운 학습패턴의 클래스로 테스트 패턴을 분류한다. K-NN 기법은 만족할 만한 분류성능을 보여주지만, 학습패턴의 개수가 늘어나면 메모리와 분류 시간이 증가하는 문제점을 가지고 있다. 그러므로, 메모리의 효율적 사용과 분류 시간을 단축시키기 위한 다양한 연구들이 발표되었으며, 그 대표적인 예로 NGE(Nested Generalized Exemplar) 이론을 들 수 있다. 본 논문에서는 학습패턴의 집합으로부터 대표패턴을 생성하는 RPA(Recursive Partition Averaging)기법과 점진적으로 대표패턴을 추출하는 IRPA(Incremental RPA)기법을 제안하였다. RPA기법은 전체 학습패턴의 공간을 재귀적으로 분할하면서 대표패턴을 생성하며, IRPA 기법은 RPA 기법의 특성상 패턴의 특징 개수가 많은 경우, 과도한 분할로 인하여 생성되는 많은 개수의 대표패턴을 줄이기 위하여 점진적으로 대표패턴을 추출하는 알고리즘이다. 본 논문에서 제안한 기법은 기존의 k-NN 기법과 비교하여 현저하게 줄어든 대표패턴을 이용하석 유사한 분류 성능을 보여주며, NGE 이론을 구현한 EACH 시스템과 비교하여 탁월한 분류 성능을 보여준다. K-NN (k-Nearest Neighbors), which is a well-known instance-based learning algorithm, simply stores entire training patterns in memory, and uses a distance function to classify a test pattern. K-NN is proven to show satisfactory performance, but it is notorious formemory usage and lengthy computation. Various studies have been found in the literature in order to minimize memory usage and computation time, and NGE (Nested Generalized Exemplar) theory is one of them. In this paper, we propose RPA (Recursive Partition Averaging) and IRPA (Incremental RPA) which is an incremental version of RPA. RPA partitions the entire pattern space recursively, and generates representatives from each partition. Also, due to the fact that RPA is prone to produce excessive number of partitions as the number of features in a pattern increases, we present IRPA which reduces the number of representative patterns by processing the training set in an incremental manner. Our proposed methods have been successfully shown to exhibit comparable performance to k-NN with a lot less number of patterns and better result than EACH system which implements the NGE theory.

RPA 기법을 이용한 규칙의 확장

한진철 ( Jin-chul Han ),김상귀 ( Sang-ki Kim ),윤충화 ( Chung-hwa Yoon ) 한국정보처리학회 2004 한국정보처리학회 학술대회논문집 Vol.11 No.2

미지의 패턴을 분류하기 위해서 사용되는 메모리 기반 학습 기법은 만족할만한 분류 성능을 보여주고 있다. 하지만 메모리 기반 학습기법은 단순히 패턴과 메모리에 저장된 예제들 간의 거리를 기준으로 분류하므로, 패턴을 분류하는 처리과정을 설명할 수 없다는 문제점을 가지고 있다. 본 논문에서는 RPA(Recursive Partition Averaging) 기법을 이용하여 패턴을 분류하는 과정을 설명할 수 있는 규칙 추출 알고리즘과 또한 일반화 성능을 향상시키기 위하여 규칙의 조건을 확장하는 알고리즘을 제안한다.

토끼에서 초저체온증의 회복에 관한 연구

이병한,전원철,김진영,김종성,박정환,박종성,한진수,정병현,Lee, Byeong-han,Chun, Won-chul,Kim, Jin-young,Kim, Jong-sung,Park, Jung-hwan,Park, Jong-jung,Han, Jin-soo,Chung, Byung-hyun 대한수의학회 1999 大韓獸醫學會誌 Vol.39 No.1

The studies were carried out to investigate the effect of recovery in rewarming using the esophageal thermal tube in the deep hypothermia($25{\pm}1^{\circ}C$ ; rectal temp) in rabbits. Fifteen rabbits were divided into control group(n=6), peritoneal dialysis group(n=5) irrigated with dialysate at $42{\pm}1^{\circ}C$, and esophageal rewarming group(n=4) perfused with circulating water at $38{\pm}1^{\circ}C$. Rewarming of the rabbits was performed for 5 hours. MAP, HR, RR, esophageal temp, rectal temp, pH, $pCO_2$, $pO_2$, $Na^+$, and $K^+$ were observed. The results obtained in these experiments were summarized as follows : Esophageal rewarming group($38{\pm}1^{\circ}C$) had more effect on esophageal temperature than other groups. Peritoneal dialysis group($42{\pm}1^{\circ}C$) had more effect on rectal temperature and $pO_2$ than other groups. The both groups also had more effects on MAP, HR, RR, and $pCO_2$ than control group. Three groups had no significant effect on pH, $Na^+$, and $K^+$. In conclusion, we found that the simple, safe, and non-invasive esophageal rewarming method had an effect on the treatment of profound hypothermia as well as the peritoneal dialysis method in spite of the temperature difference between the dialysate and the circulating water, and the circulating water at $38{\pm}1^{\circ}C$ for esophageal rewarming also had an effect on the recovery of deep hypothermia.

Streptozotocin - 유도 당뇨모델을 이용한 쥐눈이콩 분말의 혈당강하 및 인슐린 감수성의 효과

이대훈(Dae-Hoon Lee),곽동훈(Dong-Hoon Kwak),김성민(Sung-Min Kim),주은진(Eun-Jin Ju),최한길(Han-Gil Choi),김옥희(Ok-Hee Kim),황진봉(Jin-Bong Hwang),배남궁(Nahm-Gung Bae),정규용(Kyu-Yong Jung),한진철(Jin-Chul Han),박흠대(Hum-Dai Park) 한국식품영양과학회 2004 한국식품영양과학회지 Vol.33 No.10

본 연구에서는 임실특산물인 쥐눈이콩및 쥐눈이식초콩의 혈당강하 및 인슐린 감수성에 대한 효과를 검정콩, 메주콩과 비교하여 조사하였다. 식이물질의 성분검사 결과 쥐눈이콩과 쥐눈이식초콩이 검정콩과 메주콩에 비하여 당뇨개선의 효과가 있는 여러 아미노산 및 식이섬유 함량이 유의적으로 높게 측정되었다. 실험을 위해 평균체중 195.5±0.98 g의 숫컷쥐를 정상군(NC), 당뇨대조군(DI, DC), 검정콩식이군(DB), 메주콩식이군(DY), 쥐눈이콩식이군(DS), 쥐눈이식초콩식이군(DSS)으로 총 7개군으로 나누어 해당식이첨가 시료로 4주간 사육하였다. 당뇨유발을 위해 STZ를 1회(70 mg/kg/rat) 투여하였으며 그 결과 체중변화는 당뇨대조군(DC)에서 21.12 g 감소함에 반하여 각각의 시료를 첨가식이한 당뇨실험군에서 특히 쥐눈이콩(DS)과 쥐눈이식초콩(DSS) 식이군은 높은 식이이용 효율(FER)을 보여 각각 14.73±3.65 g 및 16.71±5.54 g의 몸무게 증가를 보였다. 음용수 및 뇨량의 측정결과 역시 당뇨실험군에서 유의적인 감소(p<0.05)를 보였다. 혈당량은 당뇨대조군(DC)에 비하여 검정콩(DB), 메주콩(DY), 쥐눈이콩(DS), 쥐눈이식초콩(DSS) 식이군이 각각 17.9%, 16.9%, 10.35%, 19.54%씩 유의하게 감소하였으나 정상대조군(NC)보다는 높은 수치를 나타내었다. 또한 당뇨쥐의 인슐린 감수성에 대한 관찰결과 당뇨대조군 중 인슐린 무처지군(DC)에 비하여 모든 당뇨실험군에서 높은 값을 보였다. 결론적으로 임실산 쥐눈이콩과 쥐눈이식초콩은 당뇨쥐의 혈당강하 및 인슐린감수성에 대한 개선작용의 가능성이 있으므로 당뇨합병증 예방의 기능성 식품으로 기대된다. Beans are acknowledged to be food resources, which have more abundant proteins and fats. The constituent parts of beans (i.e. aspartic aid, glycine, arginine) are effective against diabetes, and dietary fiber contained in the beans has an important property to maintain insulin sensitivity. Based on these, using streptozotocin (STZ)-induced diabetic rats, this study examined how the rat-eye soybean, which is principal products of the Imsil province, is effective to attenuate and/or prevent the development of diabetes mellitus. We divided rats into the non-diabetic and diabetic group, and diabetic group was further subdivided into six experimental groups [DC, diabetic control; DI, diabetes with insulin treatment (4~6 IU/rat); DB, diabetes with black bean;DY, diabetes with yellow soybean; DS, diabetes with rat-eye soybean; DSS, diabetes with vinegar-fermented rat-eye soybean. All bean treatment (1.5 ㎎/1 g body weight).]. Food efficiency ratio (FER), body weight and insulin sensitivity in diabetic rats were significantly reduced compared to those in normal control animals. These reductions were obviously attenuated by administration of a variety of beans used in this study (20~30%), and the recovery effects were comparable to the results obtained by insulin treatment. Taken together, this study suggests that all beans used may have an essential property to improve and/or attenuate the development of diabetes mellitus in rats.

Overfitting 제거를 위한 규칙 확장

한진철,윤충화 明知大學校 産業技術硏究所 2005 産業技術硏究所論文集 Vol.24 No.-

RPA (Recursive Pattern Averaging) algorithm, which is an instance-based learning method, generates representative patterns from training set, and uses them to classify a test pattern by computing Euclidean distances. RPA is proven to show satisfactory performance, but it has a major disadvantage that it cannot explain the user how the classification result is obtained. This explanation capability is crucial to some domains where expert systems are employed. In order to overcome this disadvantage, we propose a rule-extracting algorithm that produces IF-THEN rules from RPA method, and a pruning algorithm by expanding conditions in IF part of rules in order to improve generalization capability.

향상된 메모리 기반 학습 알고리즘

한진철,김상귀,윤충화 명지대학교 산업기술연구소 2006 産業技術硏究所論文集 Vol.25 No.-

K-NN (k-Nearest Neighbors), which is a well-known memory-based learning algorithm, simply stores entire training patterns in memory, and uses a distance function to classify a test pattern. K-NN is proven to show satisfactory performance, but it is notorious for memory usage and lengthy computation. Various studies have been found in the literature in order to minimize memory usage and computation time, and NGE (Nested Generalized Exemplar) theory is one of them. In this paper, we propose RPA (Recursive Partition Averaging) and IRPA (Incremental RPA) which is an incremental version of RPA. RPA partitions the entire pattern space recursively, and generates representatives from each partition. Also, due to the fact that RPA is prone to produce excessive number of partitions as the number of features in a pattern increases, we present IRPA which reduces the number of representative patterns by processing the training set in an incremental manner. Our proposed methods have been successfully shown to exhibit comparable performance to k-NN with a lot less number of patterns and better result than EACH system which implements the NGE theory.

Customer Analysis using Decision Tree and Association Rule Mining

Ryu, Tae-Wan,Le, Kevin,Han, Jin-chul,Yoon, Chung-hwa 明知大學校 産業技術硏究所 2003 産業技術硏究所論文集 Vol.22 No.-

Abstract - Data mining becomes more and more important in business decision-making process. Recently, several data mining techniques have been successfully applied to analyze various data. Among those, decision tree induction and association rule mining are two of well-known data mining techniques. In this paper, we employ the decision tree induction and association rule mining to discover implicit, previously unknown, and potentially useful information from customer data for an e-commerce company. We present three common groups discovered that show similar buying tendency and several interesting association rules that describe the profiles, lifestyles, and preferences of customers. Although it is yet to be determined whether or not our analysis will provide the company a competitive business edge, we are sure that this analysis would help the company adjusts online marketing strategy.