Positive Definite Covariance Matrix Estimation via Linear Shrinkage = 선형 수축 기반 양의 정부호 공분산 행렬 추정

다국어 초록 (Multilingual Abstract)

Positive definiteness (PDness) is an essential property of covariance matrix estimators, yet many high-dimensional regularized estimators fail to maintain it due to their elementwise construction and lack of eigenvalue control. In this paper, we propose LPD (Linear Positive Definitization), a unified linear-shrinkage framework for modifying any symmetric non–PD matrix into a positive definite one. Extending the line of work of (Choi et al., 2019; Cho et al., 2021; Park et al., 2024), we derive explicit optimal solutions for LPD under a broad class of matrix norms, including the spectral, scaled Frobenius, infinity, and element-wise maximum norms.

We further present a geometric interpretation of LPD and demonstrate, through a generalized Marshall’s law perspective, that LPD-based covariance estimators exhibit an error contraction property relative to the initial estimator across all considered norms. When applied to sparse covariance estimation, the LPD modification preserves the convergence rate of the initial estimator while ensuring positive definiteness. Extensive simulation studies validate these theoretical findings.

Finally, we introduce a new application of LPD to estimating the optimal projection direction in high-dimensional two-sample mean testing and show that incorporating LPD into existing procedures yields substantial improvements in recovering the true optimal direction.

국문 초록 (Abstract)

공분산 행렬 추정량의 양의 정부호성(positive definiteness, PDness)은 필수적인 성질이지만, 많은 고차원 정규화 추정량들은 원소별 구성과 고유값 제어의 부재로 인해 이를 보장하지 못한다. 본 논문에서는 임의의 대칭 비(非) 양의 정부호 행렬을 양의 정부호 행렬로 변환하기 위한 통합적 선형 축소 프레임워크인 LPD (Linear Positive Definitization)를 제안한다. (Choi et al., 2019; Cho et al., 2021; Park et al., 2024) 의 연구를 확장하여, 스펙트럴 노름, 스케일드 프로베니우스 노름, ℓ∞ 노름, 그리고 원소별 최대 노름 하에서 LPD의 명시적인 최적해를 유도한다. 또한 LPD의 기하학적 해석을 제시하고, 일반화된 Marshall의 법칙 관점에서 LPD 기반 공분산 추정량이 초기 추정량 대비 오차 수축 성질을 만족함을 보인다. 희소 공분산 추정에 적용할 경우, LPD 보정은 수렴률을 유지하면서 양의 정부호성을 보장한다. 모의실험을 통해 이론적 결과를 검증한다. 마지막으로, 고차원 이표본 평균 검정에서 최적 사영 방향 추정 문제에 LPD를 적용하여, 기존 방법 대비 참된 최적 방향 회복 성능이 유의미하게 향상됨을 보인다.

목차 (Table of Contents)

• Abstract i
• Contents ii
• List of Tables iv
• List of Figures v
• 1. Introduction 1
• 2. Linear Positive Definitization 4
• 2.1 Notation and Assumptions 4
• 2.2 Characterization of LPD for Various Matrix Norms 5
• 3. Main Results 9
• 3.1 Sparse Covariance Matrix Estimator 9
• 3.2 Consistency for LPD Estimators 11
• 3.3 Geometric Interpretation 12
• 4. Numerical Studies 15
• 4.1 Proportion of Non-PD Estimates in the Hard Thresholding Estimator 16
• 4.2 Rigidity of the Assumption (A2) 17
• 4.3 Optimal Rate under the Element-wise Maximum Norm 18
• 4.4 Application to Optimal Projection Direction in High-dimensional Two-sample Testing 20
• 5. Conclusion 24
• 6. Proofs 26
• 6.1 LPD for Various Matrix Norms 26
• 6.2 Consistency for LPD Estimators 29
• Abstract (In Korean) 34