앙상블 비모수적 변수 선택 방법 = Ensemble nonparametric variable selection method

다국어 초록 (Multilingual Abstract)

Ensemble techniques are a method of generalizing multiple individual models to one optimal model, showing high predictive performance. It has the advantage of being available in both regression and classification problems, but it has the disadvantage that it is difficult to interpret the model due to its black-box characteristics. These shortcomings are supplemented by presenting a measure of variable importance, but this is only a relative value between explanatory variables, and there is a limit that the significance of each variable cannot be confirmed. On the other hand, in the case of the regression model, it is possible to test the significance of the variable through p-value and penalty. This study proposed a nonparametric variable selection method that tests the significance of explanatory variables based on the variable importance given in the ensemble technique. The simulation was conducted with eight models, and the results of sensitivity and specificity were compared by methodology. As a result of the simulation, the ensemble nonparametric variable selection showed better classification performance than the variable selection in the existing regression model in eight models. In addition, through case analysis, it was confirmed that the random forest nonparametric variable selection showed excellent performance even when there was a strong correlation between variables.

국문 초록 (Abstract)

앙상블 기법은 다수의 개별 모델을 조합하여 하나의 최적 모델로 일반화하는 방법으로, 높은 예측 성능을 보인다. 회귀 및 분류 문제에서 모두 활용 가능하다는 장점이 있으나 블랙박스(black-box)적인 특성으로 모델의 해석이 어렵다는 단점이 있다. 이러한 단점을 변수중요도라는 척도를 제시하여 설명력을 보완하고 있으나 이는 설명변수 간의 상대적인 수치일 뿐, 각 변수의 유의성 여부는 확인할 수 없다는 한계가 존재한다. 반면, 회귀모형의 경우 p-value, 벌점화 등을 통해 변수의 유의성 검정이 가능하다. 본 연구는 앙상블 기법에서 주어지는 변수중요도를 기반으로 유의한 설명변수를 선택하는 비모수적 변수 선택 방법을 제안하였다. 모의실험은 8가지 모형으로 진행하였으며 민감도, 특이도 결과를 방법론별로 비교하였다. 모의실험 결과, 앙상블 비모수적 변수 선택 방법은 8가지 모형에서 기존 회귀모형에서의 변수 선택 방법들보다 우수한 분류 성능을 보여주었다. 또한, 사례 분석을 통해 랜덤포레스트 비모수적 변수 선택 방법이 설명변수 간 강한 상관관계가 있는 경우에도 유의하다고 판단되는 변수를 올바르게 선택한다는 것을 확인하였다.

참고문헌 (Reference)

1 서혜선, "선형모형의 선택에 관한 통계적 기계학습: 변수선택법의 비교연구" 한국자료분석학회 23 (23): 2643-2653, 2021

2 주아림 ; 전수영, "고차원 선형모형에서 벌점화우도 방법을 이용한 변수 선택방법 연구" 한국자료분석학회 17 (17): 2391-2402, 2015

3 Fan, J., "Variable selection via nonconcave penalized likelihood and its oracle properties" 96 (96): 1348-1360, 2001

4 Loh, W. Y., "Variable importance scores, arXiv preprint arXiv:2102.07765"

5 Shin, W. S., "Variable importance and significance in ensemble methods" Korea University 2023

6 권성훈 ; 조진연 ; 최호식 ; 이상인, "Variable Selection via the Sparse Net" 한국자료분석학회 21 (21): 1111-1120, 2019

7 Friedman, J. H., "Stochastic gradient boosting" 38 (38): 367-378, 2002

8 Tibshirani, R., "Regression shrinkage and selection via the lasso" 58 (58): 267-288, 1996

9 Breiman, L., "Random forests" 45 (45): 5-32, 2001

10 Zhang, C. H., "Nearly unbiased variable selection under minimax concave penalty" 38 (38): 894-942, 2010

11 이상인 ; 권성훈, "Moderately Clipped LASSO for the Sparse High-Dimensional Logistic Regression Models" 한국자료분석학회 17 (17): 1145-1154, 2015

12 Tuv, E., "Feature selection using ensemble based ranking against artificial contrasts" 2006

13 Ryu, T., "Bayesian Penalized Splines for Predicting Concentrations of Soil Contaminant" 2022 (2022): 107-110, 2022

14 Ramana, B. V., "A critical study of selected classification algorithms for liver disease diagnosis" 3 (3): 101-114, 2011