Estimating Causal Effects of Novel Interventions with a Heterogeneous Source Domain via Attention-Based Synthesis = 이종 특성공간을 가진 소스 도메인으로부터의 어텐션 기반 표현 합성을 통한 미관측 개입의 인과효과 추정

국문 초록 (Abstract)

개별 맞춤형 인과 효과 추정은 의료·정책 등 고비용 의사결정에서 핵심적이지만, 학습 데이터에서 관측되지 않은 신규 중재의 효과 예측은 여전히 어렵다. 특히 목표 도메인의 표본이 부족하거나 도메인 간 공변량 공간이 상이할 경우, 기존 인과 전이 학습을 직접 적용하기 어렵다. 기존 접근은 임베딩 공간의 거리가 효과 유사성을 대변한다는 가정에 의존해 왔으나, 임베딩 유사성이 효과 유사성을 의미하지 않을 수 있어 결과적으로 일반화 성능이 저하될 수 있다.
본 논문은 이를 해결하기 위해 (i) 관측된 중재 라이브러리를 참조해 신규 중재 표현을 합성하는 어텐션 기반 중재 합성 모듈과 (ii) 소스 도메인의 정보를 목표 도메인으로 이전하는 이질적 전이 학습 구조를 결합한 프레임워크 ARTIST를 제안한다. ARTIST는 교차 어텐션을 종단간으로 학습하여 효과 관점에서의 근접성을 데이터로부터 학습하고, 공통/전용 인코더 분리를 통해 중재 측 구조는 공유하되 공변량 측 도메인 차이는 전용 경로에서 흡수하도록 설계해 전이를 안정화한다. 시뮬레이션 및 LINCS 유전자 발현 데이터 실험에서 ARTIST는 미관측 중재 일반화와 데이터 희소 환경에서 기존 방법 대비 일관된 성능 향상을 보여 제안 방법의 효과성과 실용성을 확인하였다.

다국어 초록 (Multilingual Abstract)

Estimating the personalized causal effects of novel interventions, such as new drugs or policies, is a key challenge in real-world applications. This task is particularly difficult because observational data are often insufficient for robust generalization to unseen interventions. Moreover, prior approaches often assume that embedding-space distance reflects effect similarity, but this assumption may not hold, harming generalization. We propose ARTIST, which integrates (i) a cross-attention module that contextualizes a novel intervention by attending over previously observed interventions, enabling robust zero-shot inference, and (ii) a domain adaptation strategy that transfers knowledge from data-rich sources to overcome data scarcity, even across heterogeneous covariate spaces. ARTIST learns cross-attention end-to-end to capture effect-relevant proximity and stabilizes transfer through the proposed adaptation scheme. Experiments on simulations and a real-world gene expression dataset show consistent gains in unseen-intervention generalization and data-scarce settings.

목차 (Table of Contents)

• Abstract i
• Chapter 1 Introduction 1
• Chapter 2 Related works 4
• 2.1 Conditional Average Treatment Effect Estimation 4
• 2.2 Zero-Shot Generalization to Novel Interventions 5
• 2.3 Cross-Domain Transfer for Causal Effect Estimation 6
• Chapter 3 Problem Setup 8
• 3.1 Assumptions 9
• 3.2 Objective 10
• Chapter 4 Method 11
• 4.1 Intervention Representation Module (ART) 12
• 4.2 Unified CATE Estimator with Heterogeneous Transfer 14
• Chapter 5 Experiments 17
• 5.1 The Simple Synthetic World 17
• 5.2 Real-world Data: LINCS 18
• 5.3 Experimental Setup 20
• 5.4 Results and Analysis 21
• Chapter 6 Conclusion 24
• Appendix A Expanded Related Works 31
• A.1 CATE Estimation 31
• A.2 Methodological Families for Transportability 32
• A.3 PO-based Cross-domain CATE Transfer 33
• A.3.1 HTCE 34
• A.3.2 CINA 34
• A.4 Novel Interventions and Meta-Learning 35
• A.4.1 CaML 35
• Appendix B Implementation Details 37
• B.1 Outcome-Driven Intervention Representation (ART) 37
• B.2 Unified S-Learner Architecture 39
• B.3 Training Strategy 40
• B.4 Detailed Training Objective 42
• B.5 Hyperparameters 43
• B.5.1 Simple Synthetic World Settings 43
• B.5.2 LINCS L1000 Settings 44
• Appendix C Simple Synthetic Data Generation 46
• C.1 Covariates and Covariate Shift 46
• C.2 Latent Mechanisms and Intervention Embeddings 47
• C.3 Train/Validation/Test Split and Seen/Unseen Interventions 47
• C.4 Treatment Assignment and Selection Bias 48
• C.5 Mechanism-Level CATE and Outcomes 49
• C.6 Sampling Scheme and Evaluation Protocol 50
• Appendix D LINCS Data and Experimental Setup 51
• D.1 Data Sources and Covariates 51
• D.2 Outcomes and individual effects 52
• D.3 Train/Validation/Test Split 52
• D.4 Source/Target Domain Construction 53
• D.5 Heterogeneous Covariate Space 54
• D.6 Intervention Library and Training Objective 54
• Appendix E Additional Experiments 57
• E.1 LINCS: Source–Target Allocation Sweep 57
• E.2 LINCS: Private intervention injection ablation 57
• E.3 LINCS: Common Covariate Ratio Sweep 58
• 요약 62