Adaptive spike-and-slab priors for bayesian transfer learning

다국어 초록 (Multilingual Abstract)

This study develops a Bayesian transfer learning framework for high-dimensional regression based on the Adaptive Correlated Spike-and-Slab (ACSS) prior. The method addresses the challenge of selectively transferring relevant information while preventing negative transfer across partially similar source domains. By jointly modeling sparsity and shrinkage through a negative dependency between inclusion probability and local shrinkage variance, the framework enables adaptive regulation of transfer degree at the variable level. A computationally efficient MCMC procedure employing closed-form conditional sampling enables precise posterior estimation and consistent uncertainty assessment. Through simulation studies, the proposed method shows notable gains in estimation precision and variable selection across both sparse and dense regimes. Applications to large-scale gene expression data further confirm its robustness and interpretability in real-world transfer learning tasks.

국문 초록 (Abstract)

본 연구는 고차원 회귀 문제에서 효율적인 정보 전이를 달성하기 위해 Adaptive Correlated Spike-and-Slab(ACSS) 사전분포에 기반한 조건부 스파이크-앤-슬랩 전이학습 프레임워크(ACSS-based conditional spike-and-slab transfer learning framework)를 제안한다. 제안된 방법은 일부만 유사한 특성을 지닌 복수의 소스 도메인 간에서 관련성 있는 정보를 선택적으로 전이하면서도 불필요한 정보의 전이(negative transfer)를 방지하는 것을 목표로 한다. ACSS 사전분포는 변수 포함 확률과 지역적 수축 분산 간의 음의 종속 구조를 통해 희소성(sparsity)과 수축(shrinkage)을 함께 모형화함으로써, 변수 단위 수준에서 전이 강도를 적응적으로 조절할 수 있게 한다. 또한, 조건부 사후분포가 모두 폐쇄형 형태로 주어지는 마코프 연쇄 몬테카를로(MCMC) 알고리즘을 통해 안정적인 사후 추론과 불확실성 정량화를 수행하였다. 시뮬레이션 결과, 제안된 방법은 희소(sparse) 및 밀집(dense) 환경 모두기존 접근법보다 우수한 추정 정확도와 변수 선택 성능을 보였다. 더 나아가 실제 대규모 유전자 발현 데이터 분석을 통해 본 프레임워크가 생물학적으로 의미 있는 전이 구조를 효과적으로 포착함을 확인하였다.

목차 (Table of Contents)

• 1 Introduction 1
• 2 Preliminaries 4
• 2.1 Transfer Learning 4
• 2.2 Variable Selection in High-Dimensional Regression 5
• 2.3 Bayesian Priors for Transfer Learning 6
• 2.3.1 Spike-and-Slab Prior 6
• 2.3.2 Conditional Spike-and-Slab Prior 7
• 3 Proposed Method 11
• 3.1 Model 11
• 3.2 ACSS Based Conditional Spike-and-Slab Prior for Transfer Learning 12
• 3.3 Posterior Inference 14
• 3.3.1 Full Conditional Posterior 15
• 3.3.2 MCMC Algorithm 20
• 4 Simulation 22
• 4.1 Existence of Informative Set 23
• 4.1.1 Sparse Setting 24
• 4.1.2 Dense Setting 25
• 4.2 Redundant Information 29
• 4.2.1 Sparse Setting 30
• 4.2.2 Dense Setting 32
• 4.3 Heterogeneous Information Scenario 36
• 4.3.1 Sparse Setting 36
• 4.3.2 Dense Setting 39
• 5 Real Data Analysis 43
• 6 Discussion 46
• References 49
• Appendices 51
• A Full Conditional Posterior Derivations 51