Robust Domain Generalization under Divergent Marginal and Conditional Distributions = 다양한 한계 및 조건부 분포에 강건한 도메인 일반화

다국어 초록 (Multilingual Abstract)

Domain generalization (DG) aims to learn predictive models that can generalize to unseen domains. Most existing DG approaches focus on learning domain-invariant representations under the assumption of conditional distribution shift (i.e., they primarily address changes in P(X|Y ) while assuming the label marginal P(Y ) remains stable). However, real-world data seldom satisfy this assumption. Multiple domains often differ in more complex ways, where both the label distribution P(Y ) and the conditional distribution P(X|Y ) vary simultaneously. In this work, we propose a new framework for robust domain generalization under divergent marginal and conditional distributions. We introduce a novel risk bound for unseen domains by explicitly decomposing the joint distribution into marginal and conditional components and characterizing risk gaps arising from both sources of divergence. To operationalize this bound, we design a meta-learning procedure that minimizes and validates the proposed risk bound across seen domains, ensuring strong generalization to unseen ones. Empirical evaluations demonstrate that our method achieves state-of-the-art performance not only on conventional DG benchmarks but also in challenging Multi-Domain Long-Tailed Recognition (MDLT) settings where both marginal and conditional shifts are pronounced.

국문 초록 (Abstract)

도메인 일반화(Domain Generalization, DG)는 미지의 도메인에 대해서도 일반화 성능을 갖춘 예측 모델 학습을 목표로 합니다. 기존 연구들은 주로 레이블 분포(P(Y ))가 일정하다고 가정하고 조건부 분포(P(X|Y ))의 변화만을 다루는 도메인 불변 표현 학습에 집중해 왔습니다. 그러나 실제 다중 도메인 환경에서는 이 두 분포가 동시에 변화하는 등 훨씬 복잡한 불일치가 빈번하게 발생합니다. 본 연구에서는 이러한 환경에서도 강건하게 동작하는 새로운 DG 프레임워크를 제안합니다. 우리는 결합 분포를 명시적으로 분해하여 각 변화 요인에서 기인하는 리스크 격차를 규명하고, 이를 바탕으로 미지 도메인에 대한 새로운 리스크 상한을 유도했습니다. 나아가 이 상한을 실제 학습에 적용하기 위해, 관측된 도메인들에 걸쳐 리스크 상한을 최소화하고 검증하는 메타 러닝 절차를 설계하여 강력한 일반화 성능을 확보했습니다. 실험 결과, 제안 방법은 표준 벤치마크뿐만 아니라 두 분포의 변화가 극심한 다중 도메인 롱테일(MDLT) 환경에서도 최고 수준의 성능 (SOTA)을 달성함을 입증했습니다.

목차 (Table of Contents)

• Abstract i
• Contents ii
• Introduction 1
• Related Works 4
• Upper Bound for Domain Generalization under Compound Shifts 7
• Proposed Methodology: Robust Compound Alignment 14
• Experiments 18
• Conclusion 24
• Appendix 26
• Abstract (In Korean) 74