Towards Interpretable Heterogeneity in Discrete Choice Models: A Covariate-Dependent Dirichlet Process with Variable Selection = 소비자 선택모형의 해석가능한 이질성 분석: 공변량 의존적 디리클레 과정과 변수선택 접근

다국어 초록 (Multilingual Abstract)

Individual-level preference heterogeneity and latent segmentation critically shape the choice patterns observed in discrete choice data. However, existing modeling approaches often (i) impose restrictive assumptions on the distribution of heterogeneity, (ii) fix the number of segments a priori, or (iii) face persistent difficulties in jointly interpreting how covariates drive segmentation and which covariates are substantively important. These limitations are particularly consequential in decision-making contexts such as public policy and energy transitions, where conflicts and value trade-offs are salient and an analytical framework is required that secures not only predictive accuracy but also transparent segmentation rationales and reliable probabilistic statements. To address this need, this dissertation proposes SCDP-Logit (Sparse Covariate-Dependent Dirichlet Process Logit). SCDP-Logit learns the number of latent clusters and their occupancy structure from the data via a covariate-dependent logistic stick-breaking nonparametric mixture, while simultaneously enhancing interpretability and mitigating overfitting through hierarchical sparsification (variable selection) that classifies high-dimensional covariates into global, local, and noise components. Stable inference under the complex hierarchical structure is achieved by an efficient MCMC sampling strategy coupled with a relabeling procedure designed to alleviate label switching. The proposed framework is validated through simulations spanning small-, medium-, and large-scale heterogeneity scenarios and through an empirical application. Across simulation settings, SCDP-Logit consistently outperforms benchmark models (e.g., MNL, HB-MNL, LC-MNL, and F-MON) on multiple dimensions, including cluster recovery, parameter estimation, variable-selection reliability, and predictive accuracy and calibration of choice probabilities. The empirical analysis applies the model to a conjoint choice experiment on Korea’s coal phase-out policy, yielding multi-layered heterogeneity and a covariate-driven segmentation mechanism. Relative to competing approaches, improvements are observed in out-of-sample prediction and probability calibration, while stable recovery of individual-level preferences and choice probabilities is maintained even under complex heterogeneity. Although some identification challenges remain for sparse tail segments, the framework produces probabilistic statements that avoid overconfident acceptance predictions across policy scenarios, providing practical value for policy risk assessment. Moreover, the unified probabilistic decomposition of covariate effects on cluster assignment and preference structure transforms segmentation outcomes into explainable criteria and clarifies the operating pathways of policy levers. This enables differentiated policy package design that reflects segment-specific preferences over costs, compensation, location, and transition timing, moving beyond one-size-fits-all prescriptions based on average effects. Selective identification of key covariates in high-dimensional settings further improves interpretability and predictive performance while reducing the operational burden in applied use. Overall, this dissertation integrates nonparametric segmentation, covariate-dependent cluster formation, and interpretable sparsification into a single discrete choice modeling framework, providing quantitative foundations for policy evaluation, targeting, and risk management grounded in structural recovery of heterogeneity and well-calibrated probabilistic prediction.

국문 초록 (Abstract)

개인 간 선호 차이와 잠재 세분시장은 이산선택자료에서 관찰되는 선택 패턴을 좌우하지만, 이를 모형화하는 과정에서는 (i) 이질성 분포를 제한적으로 가정하거나, (ii) 세그먼트 수를 사전에 고정하거나, (iii) 공변량이 세분화에 어떻게 작동하는지와 “어떤 공변량이 중요한지”를 동시에 해석하기 어려운 문제가 반복되어 왔다. 특히 공공정책·에너지 전환처럼 갈등과 가치 판단이 얽힌 의사결정에서는, 예측 정확도뿐 아니라 세분화의 근거와 확률 예측의 신뢰도까지 함께 확보되는 분석 틀이 요구된다. 본 연구는 이러한 요구에 대응하여 SCDP-Logit(Sparse Covariate-Dependent Dirichlet Process Logit)을 제안한다. 제안 모형은 (1) 공변량-의존 로지스틱 스틱-브레이킹 기반의 비모수 혼합 구조를 통해 잠재 군집 수와 점유구조를 데이터로부터 학습하고, (2) 계층적 희소화(variable selection)를 결합하여 고차원 공변량을 전역(global)–국소(local)–잡음(noise)으로 구분함으로써 과적합을 억제하면서 해석가능성을 강화한다. 또한 복잡한 계층 구조에서 안정적인 추론을 위해 효율적 MCMC 샘플링 전략과 라벨 스위칭을 완화하는 재정렬 절차를 함께 구성하였다. 검증은 소·중·대 규모 이질성 시나리오를 포괄하는 시뮬레이션과 실증 분석으로 수행하였다. 시뮬레이션에서는 군집 복원, 모수 추정, 변수 선택 신뢰도, 선택확률 예측 및 보정 등 다수의 지표에서 기존 비교모형(MNL, HB-MNL, LC-MNL, F-MON MNL 등) 대비 일관된 우위를 확인하였다. 실증 분석에서는 한국의 석탄발전 단계적 폐지 정책에 대한 컨조인트 선택 실험 데이터를 활용하여 다층적 이질성 구조와 공변량 기반 세분화 메커니즘을 도출하였다. 특히 제안 모형은 표본 외 예측과 확률 보정 측면에서 비교모형 대비 개선을 보였고, 복잡한 이질성 환경에서도 개인별 선호 복원과 선택확률 추정의 안정성이 유지됨을 확인하였다. 또한 희소 군집(tail segment)에 대한 식별 한계가 일부 관찰되더라도, 정책 시나리오별 수용확률을 과신하지 않는 방향의 확률 진술을 제공하여 정책 리스크 평가에 유용함을 시사한다. 더 나아가, 공변량이 군집 할당과 선호 구조에 미치는 영향을 동일한 확률적 틀에서 분해하여 제시함으로써, 세분화 결과를 “설명 가능한 기준”으로 전환하고 정책 레버의 작동 경로를 명확히 한다. 이는 평균적 효과에 근거한 일괄적 처방을 넘어, 세그먼트별로 상이한 비용·보상·입지·전환 시기 선호를 반영한 차별화된 정책 패키지 설계를 가능하게 한다. 또한 고차원 공변량 환경에서 중요한 변수만을 선택적으로 식별함으로써, 해석가능성과 예측력을 동시에 확보하고 실무 적용 시 모형 운용 부담을 낮춘다. 종합하면, 본 연구는 비모수 세분화·공변량-의존 군집 형성·해석가능한 희소화를 단일 선택모형 프레임워크로 통합하여, 이질성의 구조적 복원과 보정된 확률 예측을 기반으로 한 정책 평가·타겟팅·리스크 관리에 정량적 근거를 제공한다.

목차 (Table of Contents)

• Abstract (p.iv)
• Contents (p.vii)
• List of Tables (p.x)
• List of Figures (p.xiii)
• Chapter 1.     Introduction (p.1)
• 1.1     Research Background (p.3)
• 1.2     Research Objectives (p.9)
• 1.3     Research Outlines (p.12)
• Chapter 2.     Literature Review (p.15)
• 2.1     Traditional Approaches to Capturing Heterogeneity (p.15)
• 2.2     Dirichlet Process and its Application in Choice Modeling (p.29)
• 2.3     Sparse prior for variable selection and interpretability (p.49)
• 2.4     Research Motivation (p.67)
• Chapter 3.     Methodology (p.71)
• 3.1     Model Overview and Framework (p.74)
• 3.2     Dirichlet Process Prior with Covariate-Dependent Allocation (p.78)
• 3.3     Sparse Priors for Interpretability (p.82)
• 3.4     Choice Model Integration (p.86)
• 3.5     Generalized Framework for Classical Choice Models (p.88)
• 3.6     Technical Integration Challenges (p.92)
• 3.7     Inference and Estimation Procedure (p.99)
• Chapter 4.     Simulation Study (p.105)
• 4.1     Design of Simulation Scenarios (p.106)
• 4.2     Model Validation Strategy (p.108)
• 4.3     Relabeling and Posterior Alignment (p.111)
• 4.4     Results and Discussion (p.114)
• 4.5     Synthesis of Simulation Findings (p.195)
• Chapter 5.     Empirical Study (p.201)
• 5.1     Background: Coal-Fired Power Phase-Out (p.203)
• 5.2     Data and Experimental Design (p.205)
• 5.3     Empirical Analysis (p.213)
• Chapter 6.     Conclusion (p.262)
• 6.1     Concluding remarks and contributions (p.263)
• 6.2     Limitations and further studies (p.270)
• Bibliography (p.274)
• Appendix A. List of Covariates (p.307)
• Appendix B1. Hyperparameter and MCMC Configuration (p.310)
• Appendix B2. Hyperparameter Sensitivity (p.312)
• Appendix C1. Posterior Uncertainty of Cluster Occupancy (p.313)
• Appendix C2. Cluster-Specific Covariate Effects (p.315)
• Appendix C3. Cluster-Specific beta, mWTP, RI (p.318)
• Appendix C4. Pairwise Distances Between Effective Clusters (p.325)
• Abstract (Korean) (p.327)