베이지안 가법 회귀 나무 및 확장 모델의 비교분석

다국어 초록 (Multilingual Abstract)

Bayesian Additive Regression Trees(BART) are a powerful Bayesian nonparametric regression model known for their high predictive accuracy and uncertainty quantification capabilities. However, they possess a limitation in achieving sufficient smoothing performance due to their tree structure, which approximates functions using piecewise constant values. To address this limitation, various extension models have been proposed, utilizing techniques such as integration with Gaussian Process or the implementation of soft splitting structures. This paper aims to evaluate these extension models across diverse simulation scenarios to determine which models offer superior performance for nonlinear and smooth function estimation. The simulation results demonstrate that SoftBART exhibits stable predictive power in terms of accuracy, whereas GP-BART demonstrates superior performance in uncertainty-based metrics, specifically the Continuous Ranked Probability Score(CRPS). Finally, this paper evaluates the practical performance of these models using real data and examines how these extensions mitigate the structural limitations of standard BART and propose criteria for model selection tailored to specific analytical objectives.

국문 초록 (Abstract)

베이지안 가법 회귀 나무(BART)는 베이지안 비모수 회귀모형으로 높은 예측력과 불확실성 추론 기능을 갖추었으나, 구간별 상수값을 부여하는 나무 구조로 인해 충분한 평활화 성능을 확보하지 못하는 한계를 가진다. 이를 보완하기 위해 가우시안 프로세스 결합이나 부드러운 분기 구조 등을 활용한 다양한 확장 모델들이 제안되어 왔다. 본 논문은 이러한 확장 모델들을 다양한 모의실험 환경에서 비교하여 어떤 모델이 비선형 및 부드러운 함수 추정에서 우수한 성능을 제공하는지를 평가하고자 한다. 실험 결과, SoftBART는 정확도 측면에서 안정적인 예측력을 보인 반면, GP-BART는 불확실성 기반 지표(CRPS)에서 뛰어난 성능을 나타낸다. 또한 실제 데이터 분석을 통해 확장 모델들의 실질적인 성능을 확인하고, 이를 바탕으로 확장 모델들이 베이지안 가법 회귀 나무의 구조적 한계를 어떻게 개선하는지 살펴보며, 목적에 따라 모델 선택 기준을 제시하고자 한다.

목차 (Table of Contents)

• 1. 서론 1
• 2. BART 및 확장 모델 4
• 2.1 베이지안 가법 회귀 나무 (BART) 4
• 2.2 평활도 향상을 위한 방법 10
• 2.3 가우시안 프로세스를 결합한 모델 12
• 2.3.1 tGP 12
• 2.3.2 TsBART 16
• 2.3.3 GP-BART 18
• 2.4 가우시안 프로세스를 결합하지 않은 모델 22
• 2.4.1 SoftBART 22
• 2.4.2 ridgeBART 24
• 3. 모의실험 27
• 3.1 모의실험 설정 27
• 3.2 모의실험 결과 33
• 3.2.1 시나리오 1 33
• 3.2.2 시나리오 2 34
• 3.2.3 시나리오 3 37
• 3.2.4 시나리오 4 40
• 3.2.5 시나리오 5 44
• 4. 실제 데이터 분석 46
• 4.1 Boston Housing 46
• 4.2 Yacht Hydrodynamics 47
• 4.3 Energy Efficiency 48
• 4.4 Forest Fires 49
• 4.5 QSAR Biodegradation 50
• 5. 결론 51
• 참고문헌 54