연속형 반응변수를 위한 데이터마이닝 방법 성능 향상 연구 = A study for improving data mining methods for continuous response variables

다국어 초록 (Multilingual Abstract)

It is known that bagging and boosting techniques improve the performance in classification problem. A number of researchers have proved the high performance of bagging and boosting through experiments for categorical response but not for continuous response. We study whether bagging and boosting improve data mining methods for continuous responses such as linear regression, decision tree, neural network through bagging and boosting. The analysis of eight real data sets prove the high performance of bagging and boosting empirically.

국문 초록 (Abstract)

배깅과 부스팅의 기법은 예측력을 향상 시킨다고 알려져 있다. 이는 비교 실험을 통하여 성능이 검증 되었는데, 목표변수가 범주형인 경우에 특정 의사결정나무 알고리즘인 회귀분류나무만 주로 고려되었다. 본 논문에서는 의사결정나무 외에도 다른 데이터마이닝 방법도 고려하여 목표변수가 연속형인 경우에 배깅과 부스팅 기법의 성능 검증을 위한 비교 실험을 실시하였다. 구체적으로, 데이터마이닝 알고리즘 기법인 선형회귀, 의사결정나무, 신경망에 배깅 및 부스팅 앙상블 기법을 결합하여 8개의 데이터를 비교 분석하였다. 실험 결과로 연속형 자료에 대한 여러 데이터마이닝 알고리즘에도 배깅과 부스팅의 기법이 성능 향상에 도움이 되는 것으로 확인되었다.

참고문헌 (Reference)

1 이상복, "데이터마이닝기법상에서 적합된 예측모형의 평가 - 4개 분류예측모형의 오분류율 및 훈련시간 비교평가 중심으로" 12 : 113-124, 2001

2 Berndt, E., "The practice of economics: Classic and contemporary, reading" Addison-Wesley 1991

3 KyunghaSeok, "The Efficiency of Boosting on SVM" 한국데이터정보과학회 13 (13): 55-64, 2002

4 Loh, W. Y., "Regression trees with unbiased variable selection and interaction detection" 12 : 361-386, 2002

5 Efron, B, "Nonparametric regression and generalized linear models" Chapman and Hall 1994

6 박희창, "Modeling of Environmental Survey by Decision Trees" 한국데이터정보과학회 15 (15): 759-771, 2004

7 Harrison, D., "Hedonic prices and the demand for clean air" 5 : 81-102, 1978

8 Freund, Y., "Experiments with a new boosting algorithm. Machine Learning" Morgan Kauffman 148-156, 1996

9 I-Cheng, Y., "Design of high-performance concrete mixture using neural networks and nonlinear programming" 13 : 36-42, 1999

10 Breiman, L., "Classification and regression trees" Chapman and Hall 1984

11 Quinlan, J. R., "C4.5: Programs for Machine Learning" Morgan Kaufmann 1993

12 Breiman, L., "Bagging predictors" 24 : 123-140, 1996

13 Ein-Dor, P., "Attributes of the performance of central processing units: A relative performance prediction model" 30 : 308-317, 1987

14 Dietterich, T. G., "An experimental comparison of three methods for constructing ensembles of decision trees: Bagging, boosting and randomization" 40 : 139-158, 2000

15 Shestha, D. L., "AdaBoost.RT: A boosting algorithm for regression problems" 2004

16 조용준, "A study on the optimization method of the initial weights in single layer perceptron" 한국데이터정보과학회 15 (15): 331-337, 2004

17 Cortez, P., "A data mining approach to predict forest fires using meteorological data" 512-523, 2007