Broken Adaptive Ridge Regression for High-dimensional Functional Linear Models = 고차원 함수형 선형모형을 위한 깨진 적응형 능형 회귀

국문 초록 (Abstract)

우리는 변수 선택을 가능하게 하는 L2 패널티를 기반으로 한 고차원 함수형 선형회귀를 위한 깨진 적응형 능형 회귀 (BAR) 추정량을 제안한다. BAR 추정량은 사전에 고정된 기저 함수 전개를 사용하고, 적응적으로 재가중된 능형 계수를 활용한 반복적 능형 회귀를 통해 구성 된다. 먼저 고차원(high-dimensional) 설정에서의 이론적 결과를 수립하고, 이를 초고차원 (ultra-high-dimensional) 설정으로 확장한다. 고차원 설정에서는 함수형 BAR 추정량의 존 재성과 유일성을 보이고, 나아가 오라클 성질 (oracle property)을 만족함을 증명한다. 또한 L2 오차와 예측 위험(predictive risk)에 대한 수렴 속도를 도출한다. 초고차원 설정에서는 차원 축소를 위해 확실 독립 스크리닝 (sure independence screening)을 도입하며, 스크리닝 이후에도 고차원 설정에서 도출된 이론적 성질이 그대로 유지됨을 보인다. 제안한 방법의 유한 표본 성능과 실용성은 모의실험과 실제 데이터 분석을 통해 입증된다.

다국어 초록 (Multilingual Abstract)

We propose a Broken Adaptive Ridge (BAR) estimator for high-dimensional functional linear regression, which enables variable selection through L2 penalization. The BAR es- timator is constructed using a pre-specified basis expansion and iterative ridge regression with adaptively reweighted ridge parameters. We develop the theoretical development for the high-dimensional case and then extend it to the ultra-high-dimensional case. In the high-dimensional setting, we establish that the functional BAR estimator exists uniquely and possesses the oracle property. We then derive its convergence rates for both the L2 error and prediction risk. For the ultra-high-dimensional setting, we adopt sure indepen- dence screening as a dimension reduction tool and show that the theoretical properties derived in the high-dimensional case continue to hold after screening. The finite-sample performance and practical utility of the proposed method are demonstrated through nu- merical studies and a real data analysis.

목차 (Table of Contents)

• 1 Introduction 1
• 2 BAR regression 4
• 2.1 Functional linear model 4
• 2.2 Estimation 5
• 2.3 Asymptotic properties of the BAR estimator 7
• 3 Sure independence screening functional BAR regression 11
• 3.1 Sure independence screening via sparse-restricted least squares regression 11
• 3.2 Asymptotic properties of the functional sLSE-BAR estimator 13
• 4 Numerical studies 16
• 4.1 Parameters tuning 16
• 4.2 Simulation studies 17
• 5 Real data application 22
• 6 Concluding remarks 26
• S Supplementary material 27
• S.1 Proof of Theorems 27
• S.1.1 Proof of Theorem 1 27
• S.1.2 Proo fof Corollary 1 32
• S.1.3 Proof of Theorem 2 35
• S.1.4 Proof of Theorem 3 37
• S.1.5 Proof of Theorem 4 41
• S.1.6 Proof of Corollary 2 44
• S.2 Proof of additional lemmas 45
• S.2.1 Proof of Lemma S.1 45
• S.2.2 Proof of Lemma S.2 46
• S.2.3 Proof of Lemma S.3 48
• S.2.4 Proof of Proposition S.1 51
• S.2.5 Proof of Proposition S.2 52
• S.2.6 Proof of Lemma S.4 55
• S.2.7 Proof of Lemma S.5 56
• S.2.8 Proof of Lemma S.6 57
• S.2.9 Proof of Lemma S.7 61
• S.2.10 Proof of Proposition S.3 64
• S.3 Additional simulation results 65
• S.4 Additional results for CMAPSS data analysis 66
• Abstract (in Korean) 71