Bayesian nonparametric methods for variable selection in high-dimensional settings with mixed covariates

다국어 초록 (Multilingual Abstract)

High-dimensional analyses often overlook differences in variable types and treat all covariates as continuous for mathematical convenience. In medical research, however, binary and categorical variables encoding physicians’ diagnoses are informative for disease prediction. In this study, we focus on the Bayesian nonparametric model, Bayesian Additive Regression Trees (BART). BART consists of a decision tree ensemble guided by prior distributions at each split to enhance the detection of relevant covariates. In high-dimensional settings, a Dirichlet prior enables efficient estimation of sparsity through a Markov Chain Monte Carlo (MCMC). We propose a “weighted” BART that assigns variable-specific weights to the concentration parameters of the Dirichlet prior. We provide a theoretical rationale for how prior information is incorporated into statistical models. The proposed model increases the selection probability of informative covariates, regardless of their types, through a weighted Dirichlet prior. The performance of the proposed methods is illustrated through simulation and real data analysis, with evaluation focused on prediction and variable selection based on posterior inclusion probabilities.

국문 초록 (Abstract)

고차원 데이터 분석에서는 수학적 편의성을 위해 변수 유형 간의 차이를 고려하지 않고 모든 공변량을 연속형 변수로 취급하는 경우가 많다. 그러나 의학 연구에서는 의사의 진단을 반영하는 이진형 및 범주형 변수가 질병 예측에 중요한 정보를 제공한다. 본 연구에서는 베이지안 비모수 모형인 Bayesian Additive Regression Trees(BART)에 주목한다. BART는 각 분기에서 사전분포에 의해 유도되는 의사결정나무 앙상블로 구성되며, 이를 통해 유의미한 공변량의 탐지를 촉진한다. 고차원 설정에서 Dirichlet 사전분포는 Markov Chain Monte Carlo(MCMC)를 통해 희소성을 효율적으로 추정할 수 있도록 한다. 본 연구에서는 Dirichlet 사전분포의 매개변수에 변수별 가중치를 부여하는 “가중(weighted)” BART를 제안한다. 또한 사전 정보가 통계 모형에 어떻게 반영되는지에 대한 이론적 근거를제시한다. 제안된 모형은 가중 Dirichlet 사전분포를 통해 변수 유형과 무관하게 정보성이 높은 공변량의 선택 확률을 증가시킨다. 제안 방법의 성능은 시뮬레이션과 실제 자료 분석을 통해 제시하며, 평가는 사후포함확률(posterior inclusion probabilities)을 기반으로 한 예측 성능과 변수 선택에 초점을 둔다.

목차 (Table of Contents)

• 1. INTRODUCTION 1
• 2. PRELIMINARIES 5
• 2.1 Review of BART and its Extension 5
• 3. PROPOSEDMETHODS 7
• 3.1 Stage 1: Prior Information 8
• 3.2 Stage 2: Weighted Dirichlet Prior 10
• 3.3 Extension Models 13
• 3.4 Posterior Estimation 14
• 4. SIMULATION STUDIES 17
• 4.1 Data Generating Process 19
• 4.1.1 Scenarios 20
• 4.2 Results 21
• 4.3 Overall Assessment 23
• 5. REAL DATA ANALYSIS 30
• 6. CONCLUSION 32
• References 34
• Appendix 39
• A. Proof of weighted concentration parameter 39
• A.1 Preselected covariates case, αs 39
• A.2 Remaining covariates case, αu 40
• B. Asymptotic Approximation of E(Q) 41
• C. Algorithm of WART 42