Doubly penalized AUC optimization

국문 초록 (Abstract)

ROC 곡선 아래 면적(AUC)은 ROC 곡선을 요약하는 지표로, 이진 분류 태스크 수행 시 두 클래스의 분포가 불균형한 데이터셋에서 분류기를 평가 하는 데 유용하다. 본 논문에서는 𝐿1 과 𝐿2 노름을 결합한 페널티를 적용하 여 AUC를 직접적으로 최대화하는 ‘이중 페널티 AUC 최적화(doubly penalized AUC-optimization)’를 제안한다. 이 방법은 불균형 데이터에 대해 AUC 측면에서 높은 예측 정확도를 달성하면서, 예측 변수들 사이에 강한 상관관계가 있는 경우 자동 변수 선택을 동시에 수행할 수 있다. 또한, k-평균 군집화(k-means clustering)와 근사 경사 하강법(proximal gradient descent)을 도입하여 제안된 방법의 계산 비용을 줄인 효율적인 알고리즘을 고안하였다. 수치 실험과 실제 데이터 분석을 통해, 예측 정확 도와 변수 선택 모두에서 제안된 방법의 우수한 성능을 입증하였다.

다국어 초록 (Multilingual Abstract)

The Area Under the ROC curve (AUC) is a popular scalar metric used as a summary of the ROC curve. It is a useful tool to evaluate binary classifiers for an imbalanced dataset in which the distribution of the two classes is highly skewed. In this paper, we propose a doubly penalized AUC-optimization that directly maximizes the AUC with a mixture of 𝐿1 and 𝐿2-norm penalties (called the elastic-net penalty). It achieves high prediction accuracy in terms of AUC and simultaneous automatic variable selection, especially when the predictor variables are highly correlated. We also develop an efficient algorithm by adopting k-means clustering and proximal gradient descent, which drastically reduces the computational costs for the proposed method. Monte-Carlo experiments and real data analysis demonstrate the superior performance of the proposed method in terms of both prediction accuracy and variable selection.

목차 (Table of Contents)

• I. Introduction 1
• II. Doubly penalized AUC optimization 4
• 2.1 AUC Optimization Problem Formulation 4
• 2.2 Computing Algorithm 9
• III. A simulation study 11
• IV. Real data results 16
• V. Conclusion 18
• VI. References 19