랜덤포레스트의 크기 결정에 유용한 승리표차에 기반한 불일치 측도 = A measure of discrepancy based on margin of victory useful for the determination of random forest size

다국어 초록 (Multilingual Abstract)

In this study, a measure of discrepancy based on MV (margin of victory) has been suggested that might be useful in determining the size of random forest for classification. Here MV is a scaled difference in the votes, at infinite random forest, of two most popular classes of current random forest. More specifically, max(-MV,0) is proposed as a reasonable measure of discrepancy by noting that negative MV values mean a discrepancy in two most popular classes between the current and infinite random forests. We propose an appropriate diagnostic statistic based on this measure that might be useful for the determination of random forest size, and then we derive its asymptotic distribution. Finally, a simulation study has been conducted to compare the performances, in finite samples, between this proposed statistic and other recently proposed diagnostic statistics.

국문 초록 (Abstract)

이 연구에서는 분류를 위한 RF (random forest)의 크기 결정에 유용한 승리표차 MV (margin of victory)에 기반한 불일치 측도를 제안하고자 한다. 여기서 MV는 현재의 RF에서 1등과 2등을 차지하는 집단이 무한 RF에서 차지하는 승리표차이다. 구체적으로 -MV가 양수이면 현재와 무한 RF 사이에 1등과 2등인 집단에서 불일치가 생긴다는 점에 착안하여, max(-MV, 0)을 하나의 불일치 측도로 제안한다. 이 불일치 측도에 근거하여 RF의 크기 결정에 적절한 진단통계량을 제안하며, 또한 이 통계량의 이론적인 점근분포를 유도한다. 마지막으로 이 통계량을 최근에 제안된 진단통계량들과 소표본 하에서 성능을 비교하는 모의실험을 실행한다.

참고문헌 (Reference)

1 박철용, "랜덤포레스트의 크기 결정을 위한 간편 진단통계량" 한국데이터정보과학회 27 (27): 855-863, 2016

2 최성훈, "Tree size determination for classification ensemble" 한국데이터정보과학회 27 (27): 255-264, 2016

3 Breiman, L., "Random forest" 45 : 5-32, 2001

4 Hernandez-Lobato, D., "Inference on prediction of ensembles of infinite size" 44 : 1426-1434, 2011

5 Hernandez-Lobato, D., "How large should ensembles of classifiers be?" 46 : 1323-1336, 2013

6 Dudoit, S., "Comparison of discrimination methods for the classification of tumors using gene expression data" 97 : 77-87, 2002

7 Shapire, R., "Boosting the margin : A new explanation for the effectiveness of voting methods" 26 : 1651-1686, 1998

8 Breiman, L., "Bagging predictors" 24 : 123-140, 1996

9 Caruana, R., "An empirical evaluation of supervised learning in high dimensions" 96-103, 2008

10 Hamza, M., "An empirical comparison of ensemble methods based on classification trees" 75 : 629-643, 2005

11 Banfield, R. E., "A comparison of decision tree creation techniques" 29 : 173-180, 2007