임의변수선택 기반 앙상블 판별분석에서 변수의 상대적 중요도에 관한 연구 = A Study on Relative Importance of Predictors in Ensemble Methods based on Random Predictor Selection

다국어 초록 (Multilingual Abstract)

A method for enhancing stability and precision of a classification method is ensemble method. Typically, ensemble method outperforms a single classifier in the binary classification. The prediction structure of the ensemble model is more complex than a single base learner so that it is difficult to identify the role and importance of the explanatory variables. Ensemble method has a problem in interpretation of the prediction result since the interpretability of the prediction result of an ensemble method may be reduced. Hence, it is hard to achieve both the performance improvement in the precision and the result understanding in the interpretation of the model because of being many variables in classification model. This paper considers a methodology to solve the interpretation problem for an ensemble method. First, we explain ensemble method using random predictor selection which combines logistic regression model, a technique being used in credit scoring. Next, as a measure for the relative importance, we adopt the mean z-score that measures role and relative importance of the explanatory variables and examine the interpretation ability of the prediction result. In order to illustrate the finite-sample performance of the considered methodology, we conduct a numerical study using both a simulated data set and real data set.

국문 초록 (Abstract)

이범주 판별문제에서 단일판별기보다 모형의 안정성 및 정밀도를 높이기 위한 방법론 중의 하나가 앙상블 기법이다. 앙상블 기법을 적용하는 경우에는 모형의 예측구조가 복잡하여 각 설명변수의 역할과 중요성을 확인하기 어려워 결국에는 예측결과의 해석력이 떨어진다는 단점을 가지고 있다. 본 논문에서는 임의변수선택 기반 앙상블 판별분석에서 변수의 상대적 중요도를 연구하고자 한다. 먼저 신용평점화에서 핵심기법으로 사용되는 로직스틱 회귀모형을 결합하는 임의변수선택을 이용한 앙상블 기법을 설명하고, 다음으로 각 설명변수의 역할과 상대적 중요도를 측정할 수 있는 평균 z-스코어를 이용하는 방법을 제안하여 예측결과에 대한 해석력을 살펴보고자 한다. 본 논문에서 제안한 방법론의 유한표본 성질을 규명하고 응용성을 확인하기 위하여 모의실험과 실제자료 분석을 이용한 연구를 수행하고자 한다.

참고문헌 (Reference)

1 송주원, "측정오차를 포함한 자료의 모형기반 판별분석" 한국자료분석학회 14 (14): 2955-2963, 2012

2 구자용, "스플라인을 이용한 신용 평점화" 한국통계학회 18 (18): 543-553, 2005

3 하재환, "선형판별분석에서의 변수 선택" 한국자료분석학회 11 (11): 381-389, 2009

4 최용석, "명목형 다항반응 로지스틱회귀모형의 행렬도 분석" 한국자료분석학회 7 (7): 839-849, 2005

5 한성실, "로지스틱 회귀모형을 이용한 채택확률모형" 한국자료분석학회 6 (6): 1153-1161, 2004

6 Hastie, T. R. T., "The elements of statistical learning : data mining, inference, and prediction" Springer 2009

7 Koo, J. Y., "Polyclass in datamining" 13 : 489-503, 2000

8 Zhou, L., "Least squares support vector machines ensemble models for credit scoring" 37 : 127-133, 2010

9 Choi, H. S., "Fused least absolute shrinkage and selection operator for credit scoring" 84 : 1-13, 2014

10 Thomas, L. C., "Credit Scoring and Its Applications" SIAM 2002

11 Ahn, H. E. A., "Classification by ensembles from random partitions of high-dimensional data" 55 : 6166-6179, 2007

12 Breiman, L., "Bagging predictors" 24 : 123-140, 1996

13 Friedman, J., "An overview of predictive learning and function approximation, Vol. 136" Springer 1994

14 Freund, Y., "A decision-theoretic generalization of on-line learning and application to boosting" 55 : 119-139, 1997

15 Koo, J. Y., "A classification spline machine for building a credit scorecard" 79 : 681-668, 2009