Stochastic Learning for Oracle Estimator = 오라클 성질을 고려한 확률적 학습 알고리즘 개발|RISS 상세보기

다국어 초록 (Multilingual Abstract)

For high-dimensional models, variable selection is a fundamental task. Sparse penalized methods can select relevant variables and estimate coefficients simultaneously. The solution of the calibrated CCCP algorithm has the oracle property under certain regularity conditions. We focus on not only consistency of variable selection but also efficiency and feasibility of computation.
In this thesis, we develop a stochastic learning algorithm which provides a solution having the oracle property. We propose a two-stage stochastic learning algorithm based on the calibrated CCCP algorithm. Furthermore, we prove that the proposed algorithm can provide the solution which has the oracle property. The numerical
studies through the simulations and real applications support our theoretical results. We compare accuracy, variable selection consistency and computation efficiency. We empirically show that the solutions of two-stage algorithms compete well with the solution of the calibrated CCCP algorithm.

번역하기

국문 초록 (Abstract)

고차원 모형에서 변수 선택은 필수적인 작업이다. 성긴 벌점화 방법은 유의한 변수의 선택과 회귀계수의 추정을 동시에 할 수 있는 방법이다. 변수선택의 일치성을 위해 SCAD나 MCP와 같은 비볼록 벌점화 방법을 고려한다. 조정된 CCCP 알고리즘은 비볼록 함수의최적해를 효율적으로 찾을 수 있을 뿐만 아니라, 조정된 CCCP 알고리즘으로 구한 해는 특정 정규 조건하에서 1을 향해 가는 확률로 오라클 추정량이 된다고 알려져 있다.
한편, 고차원 자료를 다루기 위해서는 계산의 효율성과 구현 가능성도 중요하게 고려되어야 한다. 확률적 학습 알고리즘은 자료의 규모가 큰 경우 효율적인 계산이 가능하다. 본 연구에서는 오라클 성질을 갖는 해를 제공하는 확률적 학습 알고리즘을 개발한다. 이 학위 논문에서는 오라클 성질을 갖는 해를 제공하기 위해, 보정 된 CCCP 알고리즘을 기반으로 2 단계로 이루어진 확률적 학습 알고리즘을 제안한다. 제안 알고리즘이 오라클 성질을 가지는 해를 제공할수 있음을 증명하고, 시뮬레이션과 다양한 실제 자료분석을 통해 조정된 CCCP 알고리즘으로 구한 해와 비슷한 성능을 가질 수 있음을 실험적으로 입증하였다.

번역하기

고차원 모형에서 변수 선택은 필수적인 작업이다. 성긴 벌점화 방법은 유의한 변수의 선택과 회귀계수의 추정을 동시에 할 수 있는 방법이다. 변수선택의 일치성을 위해 SCAD나 MCP와 같은 비...

목차 (Table of Contents)

1 Introduction 1
1.1 Overview 1
2 Review: Batch learning for Sprase Penalized Estimator and Oracle Property 5
2.1 Introduction 5
2.2 Sparse penalized method 6

1 Introduction 1
1.1 Overview 1
2 Review: Batch learning for Sprase Penalized Estimator and Oracle Property 5
2.1 Introduction 5
2.2 Sparse penalized method 6
2.2.1 The oracle estimator and the oracle property 7
2.2.2 LASSO estimator 7
2.2.3 Nonconvex penalized estimator 8
2.2.4 The CCCP algorithm 9
2.2.5 The calibrated CCCP algorithm 11
2.3 Oracle property 12
3 Review: stochastic learning algorithm 15
3.1 Introduction 15
3.2 Review of stochastic learning algorithms 17
3.2.1 Definitions and Notation 18
3.2.2 SGD (Stochastic Gradient Descent) 18
3.2.3 COMID (Composite-Objective Mirror Descent) 19
3.2.4 FOBOS (Forward Backward Splitting) 21
3.2.5 FTRL (Follow-The-Regularized Leader) 22
3.2.6 RDA (Regularized Dual Averaging) 24
3.3 Convergence of Algorithm 25
3.3.1 Regret bound 26
3.3.2 Convergence in Estimation 29
4 Stochastic learning algorithm for Oracle estimator 33
4.1 Introduction 33
4.2 The proposed algorithm 34
4.2.1 Considered stochastic optimization algorithms 34
4.2.2 Two-stage stochastic learning algorithm 37
4.3 Theoretical properties 38
4.3.1 Convergence of considered stochastic algorithm 38
4.3.2 Oracle property in two-stage Stochastic algorithm 48
5 Experiments 54
5.1 Simulation studies 54
5.2 Real data analysis 59
6 Conclusion 67
Bibliography 68
A Appendix A. 72
A.1 Computation of algorithm 72
A.1.1 FTRL-proximal 72
A.1.2 Centered RDA 73
A.1.3 RDA 75
A.2 Convergence of Algorithm 76
A.2.1 Dual norm 76
A.2.2 Regret bound 78
A.2.3 Convergence of Estimator 80
Abstract (in Korean) 85

참고문헌 (Reference)

1. Least angle regression, Bradley EfronTrevor HastieIain JohnstoneRobert Tibshirani, The Annals of statistics32 ( 2 ) : 407 { 499, , 2004

2. The concave-convex procedure, Alan L YuilleAnand Rangarajan, Neural computation15 ( 4 ) :915 { 936, , 2003

3. Composite objective mirror descent, John C DuchiShai Shalev-ShwartzYoram SingerAmbuj Tewari, COLT , pages 14 { 26, , 2010

4. On model selection consistency of lasso, Peng ZhaoBin Yu, Journal of Machine learning research7 ( Nov ) :2541 { 2563, , 2006

5. The adaptive lasso and its oracle properties, Hui Zou, Journal of the American statistical association101 ( 476 ) :1418 { 1429, , 2006

6. Regression shrinkage and selection via the lasso, Robert Tibshirani, Journal of the Royal Statistical Society : Series B, , 1996

7. Primal-dual subgradient methods for convex problems, Yurii Nesterov, Mathematical programming , 120 ( 1 ) :221 { 259, , 2009

8. Smoothly clipped absolute deviation on high dimensions, Yongdai KimHosik ChoiHee-Seok Oh, Journal of the American Statistical Association103 ( 484 ) :1665 { 1673, , 2008

9. A survey of algorithms and analysis for adaptive online learning, H Brendan McMahan, The Journal of Machine Learning Re- search18 ( 1 ) :3117 { 3166, , 2017

10. Nearly unbiased variable selection under minimax concave penalty, Cun-Hui Zhang et, The Annals of statistics38 ( 2 ) :894 { 942, , 2010