High-dimensional Bayesian regression and classification using discretized hyperpriors : 이산화된 하이퍼프라이어를 이용한 고차원 베이지안 회귀와 분류

국문 초록 (Abstract)

베이지안 통계학에서 horseshoe, Bayesian Lasso 등과 같은 다양한 수축 사전분포
(shrinkage prior)는 고차원 회귀 및 분류 문제를 해결하기 위해 널리 활용되어 왔
다. 이러한 수축 사전분포의 형태는 하이퍼파라미터(hyperparameter)에 대한 분포,
즉 하이퍼프라이어(hyperprior)의 선택에 의해 결정된다. 이에 따라 사후분포 샘플링
방법 또한 하이퍼프라이어의 종류에 맞춰 매번 새롭게 설계되어야하는 제약이 존재
한다. 이러한 문제를 해결하기 위해, 우리는 이산화 개념을 도입하여 새로운 계열의
하이퍼프라이어를 제안한다. 제안된 이산화 방법의 가장 큰 장점은 임의의 하이퍼파
라미터에 대한 완전 조건부 분포(full conditional distribution)가 항상 범주형 분포
(categorical distribution)가 된다는 점이다. 이 특징은 어떤 하이퍼프라이어의 선택
에도 적용 가능한 통합된 사후 샘플링 체계를 제공한다. 더 나아가, 제안된 이산화
접근법은 spike-and-slab 사전분포를 특수한 경우로 포함한다. 본 연구에서는 제안
된 방법을 horseshoe, Dirichlet–Laplace, Bayesian Lasso에 적용하여 설명한다. 또한,
시뮬레이션과 실제 데이터 분석을 통해 제안된 방법의 성능을 입증한다.

목차 (Table of Contents)

• 1 Introduction 1
• 2 Model set-up 4
• 2.1 Sparse shrinkage priors 4
• 2.1.1 Discrete mixture model 5
• 2.1.2 Continuous mixture model 5
• 2.2 Posterior sampling of shrinkage priors 6
• 3 Proposed method 8
• 4 Applying to shrinkage priors 13
• 4.1 Bayesian Lasso prior 13
• 4.2 Horseshoe prior 15
• 4.3 Dirichlet-Laplace prior 16
• 5 Extension to classification 20
• 5.1 Probit regression model 20
• 5.2 Support vector machine 22
• 6 Simulation study 24
• 7 Real data application 26
• 8 Conclusion remarks 28