One-step generalization ratio guided optimization for domain generalization|RISS 상세보기

다국어 초록 (Multilingual Abstract)

Domain Generalization (DG) aims to train models that generalize to unseen target domains but often overfit to domain-specific features, known as undesired correlations. Gradient-based DG methods typically guide gradients in a dominant direction but often inadvertently reinforce spurious correlations.
Recent work has employed dropout to regularize overconfident parameters but has not explicitly adjusted gradient alignment or ensured balanced parameter updates.
We propose GENIE (Generalization-ENhancing Iterative Equalizer), a novel optimizer that leverages the One-Step Generalization Ratio (OSGR) to quantify each parameter’s contribution to loss reduction and assess gradient alignment. By dynamically equalizing OSGR via a preconditioning factor, GENIE prevents a small subset of parameters from dominating optimization, thereby promoting domain-invariant feature learning.

번역하기

국문 초록 (Abstract)

도메인 일반화(DG)는 학습 시 보지 못한 새로운 타겟 도메인에서도 우수한 성능을 보이는 모델을 훈련하는 것을 목표로 한다. 그러나 모델은 흔히 도메인 특유의 특징에 과적합되는 문제가 발생한다. 기존 DG 기법들은 Gradient를 특정 지배적인 방향으로 유도함으로써 이 문제를 해결하려 했지만, 오히려 원치 않는 상관관계를 강화하는 부작용을 낳기도 하였다. 최근에는 Dropout 기법을 통해 지나치게 활성화된 파라미터를 억제하여 일부 파라미터의 과도한 영향력을 감소시키고자 했으나, 여전히 파라미터 간 균형 있는 업데이트를 보장하는 데는 한계가 존재했다.
따라서 본 연구에선 새로운 최적화기인 GENIE(Generalization-ENhancing Iterative Equalizer)를 제안한다. GENIE는 각 파라미터의 손실 감소 기여도와 일반화 성능을 측정하는 One-Step Generalization Ratio(OSGR)을 Preconditioning으로 활용하여 모든 파라미터의 OSGR을 동적으로 균등화 한다. 이를 통해 소수의 파라미터가 전체 최적화 과정을 지배하는 현상을 방지하고, 도메인 불변의 일반화 가능한 특징을 학습하도록 유도한다.
이론적 분석에서 GENIE는 일반화 성능과 수렴 속도 측면에서 기존 최적화 기법들보다 경쟁력 있는 성과를 보였으며, 다양한 실험에서도 기존 최적화기를 뛰어넘는 성능을 달성하였다. 추가적으로, GENIE는 여러 DG 방법론 뿐만 아니라 단일 도메인 일반화(Single-DG) 기법과 결합하였을 때에도 일관된 성능 향상을 보여, 그 유연성과 확장성을 입증하였다.

번역하기

도메인 일반화(DG)는 학습 시 보지 못한 새로운 타겟 도메인에서도 우수한 성능을 보이는 모델을 훈련하는 것을 목표로 한다. 그러나 모델은 흔히 도메인 특유의 특징에 과적합되는 문제가 ...

목차 (Table of Contents)