Transfer-aware prompt routing of informative prompts for domain generalization

다국어 초록 (Multilingual Abstract)

Domain Generalization (DG) aims to train models that generalize to unseen domains using only labeled source domain. As vision-language models (VLMs) are increasingly adopted for DG tasks, prompt tuning offers a flexible and parameter-efficient way to adapt these models to varying domains. However, prior prompt-based DG approaches often rely on rigid assumptions such as universal invariance or fixed domain specific prompts. These assumptions limit generalization under complex distribution shifts, where the semantics that truly transfer may vary across inputs.

To address this issue, we propose TRIP (Transfer-Aware Routing of Informative Prompts), a novel prompt tuning framework that prioritizes prompt transferability at the core of generalization. Inspired by the 𝒩LEEP metric, TRIP models prompt-conditioned distributions over image features and estimates the likelihood of an input under each prompt. These likelihoods yield a soft routing distribution that guides the probabilistic assignment of prompts.

To promote broader semantic coverage and prevent focusing on a small subset of prompts, we incorporate an entropy-based regularization that encourages diverse and balanced prompt usage. Our theoretical analysis shows that TRIP’s objective maximizes a lower bound on the expected predictive log-likelihood, linking transferability and routing optimality from a Bayesian perspective. Empirically, TRIP outperforms existing CLIP-based prompt tuning baselines on standard DG benchmarks, while revealing prompt specialization patterns that promote robust and adaptive generalization.

국문 초록 (Abstract)

본 논문은 도메인 일반화 문제를 해결하기 위해 TRIP(Transfer-aware Prompt Routing of Informative Prompts for Domain Generalization)이라는 새로운 방법을 제안한다. 도메인 일반화는 학습에 사용되지 않은 새로운 환경에서도 모델이 안정적으로 작동하도록 만드는 것을 목표로 한다. 최근 CLIP과 같은 대규모 비전-언어 모델을 활용한 프롬프트 튜닝 방법이 주목받고 있지만, 기존 방법들은 모든 도메인에 공통된 고정 프롬프트를 사용하거나 각 도메인별로 별도의 프롬프트를 학습하는 방식에 머물러 있어 새로운 도메인 변화에 유연하게 대응하기 어렵다. TRIP은 입력마다 가장 잘 맞는 프롬프트를 확률적으로 선택하는 라우팅 방식을 도입하였다. 각 프롬프트가 입력 이미지에 얼마나 잘 전달될 수 있는지를 측정하는 전달 가능성 점수를 계산하고, 이 점수를 기반으로 입력별로 프롬프트를 동적으로 선택한다. 이렇게 하면 고정된 프롬프트를 사용하는 기존 방법보다 다양한 환경에서 더 적응력 있는 모델을 만들 수 있다.

TRIP은 프롬프트를 가우시안 혼합 모델로 표현해 각 클래스와 프롬프트 간의 관계를 확률적으로 모델링한다. 학습에는 예측 손실과 다양성 손실을 함께 사용한다. 예측 손실은 입력과 프롬프트의 적합도를 높이기 위한 항이며, 다양성 손실은 일부 프롬프트에만 집중되지 않도록 전체적인 분포의 다양성을 유지하도록 돕는다. 본 연구는 제안하는 손실 구조가 프롬프트의 전달 가능성을 높이고, 전체 모델의 일반화 능력을 향상시키는 방향으로 작동함을 이론적으로 분석하였다.

다양한 도메인 일반화 벤치마크에서 TRIP은 CoOp, CoCoOp, MaPLe, ProGrad, StyLIP 등 기존 최신 방법보다 높은 성능을 기록했다. 특히 Terra Incognita 데이터셋에서 가장 큰 성능 향상을 보였으며, 전체적으로 균형 잡힌 일반화 성능을 보여주었다. 또한 프롬프트의 개수를 조정한 실험에서는 개수를 늘릴수록 성능이 향상되지만, 너무 많을 경우 중복되는 정보를 학습해 효율성이 떨어질 수 있음을 확인하였다. 시각화 결과에서도 TRIP이 학습한 프롬프트들은 서로 명확히 구분되고, 더 풍부한 의미적 표현을 담고 있는 것으로 나타났다.

결론적으로 TRIP은 입력마다 가장 적절한 프롬프트를 확률적으로 선택하는 방식으로 CLIP 기반 모델의 도메인 일반화 성능을 향상시킨다. 향후 연구에서는 테스트 단계에서도 새로운 프롬프트를 생성하거나 라벨이 없는 환경에서도 적응할 수 있는 방향으로 발전시킬 수 있을 것으로 기대된다.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• Chapter 2. Related Work 4
• 2.1 Domain Generalization 4
• 2.2 Domain Generalization with Pre-trained Models 5
• 2.3 Transferability Metrics 5
• Chapter 3. Proposed Method 6
• 3.1 Prompt Routing via Transferability Score 7
• 3.2 Training Objectives 8
• 3.3 Inference Procedure 11
• Chapter 4. Theoretic Analysis 12
• Chapter 5. Experiments 14
• 5.1 Datasets and Implementation Details 14
• 5.2 Main Results 15
• 5.3 Ablation Studies 17
• 5.3.1 3D Visualization of Prompt Gaussian Distribution 17
• 5.3.2 Effectiveness of Each Loss Term 18
• Chapter 6. Conclusion and Limitation 20
• Reference 22
• Korean Abstract 42