절사와 가중치를 이용한 향상된 배깅 알고리즘에 대한 연구 = A Study on Advanced Bagging Algorithm Using Trimming and Weighting

다국어 초록 (Multilingual Abstract)

Bagging is one of the most effective procedure to improve the performance on unstable estimators or classifiers. It draws bootstrap sample, and then averages the resulting prediction rule. When using unstable classifier, bagging reduce the variance of a classifier. However, there is no guarantee that bagging will improve the performance of any base classifier. When using stable base classifiers, like support vector machines, it may even yield a deterioration of predictive accuracy. In this study, we propose new bagging algorithm to improve the performance of any classifiers. The first idea is to aggregate the bootstrapped classification rules that weight to reflect the predict accuracy. The second idea is similar previous one. Instead of averaging over all bootstrapped classifiers, we trim away those bootstrapped classifiers that result in the highest error rate. Afterward, we perform the same work previous procedure. On the basis of real data experiments, we conclude that idea proposed in this paper is performing well comparably to standard bagging when applied to unstable classifiers as decision trees. Moreover, it yields better results when applied to stable base classifiers, like support vector machines.

국문 초록 (Abstract)

앙상블 기법을 이용하여 예측 알고리즘을 사용하는 가장 큰 이유는 변동성이 작으며 예측력이 뛰어난 알고리즘을 구축하기 위함이다. 그러나 대표적인 배깅 알고리즘들은 여전히 자료의 변동에 따라 예측의 정확도가 떨어지고 변동성이 커 다양한 형태의 자료에 대한 분류를 수행하는데 한계가 있다. 본 논문에서는 단일 분류방법론들을 결합하는 새로운 방법을 제안함으로써 예측의 정확성을 높이고 변동성을 줄이는 향상된 배깅 방법에 대한 연구를 하고자 한다. 기존의 배깅 알고리즘과 본 논문에서 제안한 방법을 실제자료에 적용시켜 향상된 정도를 파악함으로써 배깅 알고리즘이 보다 개선되었는지 여부를 비교 연구한다. 연구 결과 가중평균만을 이용한 배깅 방법은 기존 배깅 방법 보다는 예측력이 좋아졌지만 다른 수정된 배깅 방법론에 비하여 뚜렷한 향상정도를 보이지 못했다. 반면에 가중된 절사 배깅 방법은 모든 분류자에서 상대 향상도가 유의하게 양의 값을 가지는 것을 나타났는데, 기존 배깅 방법론의 예측력이 안정적인 기본 분류자를 사용했을 때 떨어진다는 단점을 보완할 수 있다.

참고문헌 (Reference)

1 박희창, "의사결정나무 기법을 이용한 사회지표조사 자료 분석" 한국자료분석학회 7 (7): 773-783, 2005

2 강한구, "보험 CRM에서 데이터마이닝 기법의 응용연구" 한국자료분석학회 5 (5): 307-322, 2003

3 남기성, "데이터마이닝을 이용한 복합적 교통사고 요인 추출" 한국자료분석학회 6 (6): 519-525, 2004

4 김규곤, "데이터마이닝에서의 분류방법에 관한 연구" 한국자료분석학회 5 (5): 101-12, 2003

5 오현정, "데이터 마이닝에서 배깅과 부스팅의 비교연구" 동국대학교 2002

6 이영섭, "데이터 마이닝에서 배깅, 부스팅, SVM 분류 알고리즘의 비교 분석" 한국통계학회 18 (18): 343-354, 2005

7 강현철, "고객관계관리(CRM)를 위한 데이터마이닝 방법론" 자유아카데미 2006

8 Croux, C., "Trimmed bagging" 52 : 362-368, 2007

9 Buhlmann,P, "Bagging, subbagging and bragging for improving some prediction algorithms, Recent Advances and Trends in Nonparametric Statistics" Elsevier 2003

10 Breiman,L, "Bagging predictors" 24 : 123-140, 1996

11 Skurichina, M., "Bagging for linear classifiers" 31 : 909-930, 1998