강건한 연속 테스트 시점 적응을 위한 적응적 학습 = Adaptive Learning for Robust Continual Test-time Adaptation

국문 초록 (Abstract)

연속 테스트 시점 적응(Continual Test-Time Adaptation, CTTA)은 동적으로 변하는 테스트 환경에서 사전 학습된 모델을 적응시켜 강건한 모델을 만드는 중요한 과업이다. 그러나 의미론적 분할(semantic segmentation)에 적용된 기존 CTTA 방법들은 클래스 불균형(class imbalance) 문제를 고려하지 않아, 다양한 객체 크기가 존재하는 도로 주행 환경에서 치명적인 한계를 보인다.
이에 본 연구에서는 분할 과업에서의 클래스 불균형을 완화하고, 동시에 CTTA의 주요 문제인 치명적 망각(catastrophic forgetting) 및 오류 누적(error accumulation)을 해결하는 적응형 학습 프레임워크인 AdaCoTTA를 제안한다. AdaCoTTA는 (1) 신뢰도를 활용한 동적 데이터 증강을 통해 학습에 사용되는 의사-라벨(pseudo-label)의 품질을 향상하고, (2) 의사-라벨 신뢰도에 기반한 픽셀별 가중치 조절로 소수 클래스(minor class) 학습을 강화하며, (3) 신뢰도를 바탕으로 학습률을 동적으로 조정함으로써 급격한 입력 변화에 대한 강건성을 확보하고자 한다.
제안 방법의 우수성을 입증하기 위해 날씨 변화 및 센서 이상 등 다양한 도로 주행 상황에서의 의미론적 분할 과업 벤치마크에서 실험을 진행했고, AdaCoTTA는 이전 연구를 뛰어넘는 우수한 성능을 달성했다. 특히 날씨 변화를 나타내는 ACDC 데이터 집합에서 전체 mIoU(Mean Intersection over Union) 성능이 0.6%p 향상되었으며, 주목할 점은 소수 클래스에서 4%p 이상의 유의미한 성능 개선을 달성했다. 이는 본 연구가 제안하는 적응적 학습 전략이 CTTA의 주요 문제를 해결함과 동시에, 소수 클래스에 대한 인식 능력을 효과적으로 증진했음을 시사한다.

다국어 초록 (Multilingual Abstract)

Continual Test-Time Adaptation (CTTA) is a crucial task for adapting pre-trained models to dynamically changing test environments to build robust models. However, existing CTTA methods applied to semantic segmentation face critical limitations in driving scenarios where diverse object sizes coexist, primarily because they fail to address the class imbalance problem.
To mitigate class imbalance and address the core CTTA challenges—catastrophic forgetting and error accumulation—we propose AdaCoTTA, an adaptive learning framework. AdaCoTTA employs three key mechanisms: (1) enhancing pseudo-label quality via confidence-guided dynamic data augmentation, (2) reinforcing minor class learning through pixel-wise weight adjustment based on pseudo-label confidence, and (3) ensuring robustness against abrupt input changes by dynamically adjusting the learning rate based on confidence.
To validate the superiority of the proposed method, we conducted experiments on semantic segmentation benchmarks covering diverse driving conditions, including weather changes and sensor anomalies. The results demonstrate that AdaCoTTA achieves superior performance, outperforming previous studies. In particular, on the ACDC dataset representing weather changes, our method achieved an overall Mean Intersection over Union (mIoU) improvement of 0.6%p. Notably, it achieved a significant performance gain of over 4%p for minor classes. These findings suggest that the proposed adaptive learning strategy effectively resolves the major problems of CTTA while significantly enhancing recognition capabilities for minor classes.

목차 (Table of Contents)

• 1 서론 1
• 2 관련 연구 4
• 2.1 연속 테스트 시점 적응 4
• 2.2 신뢰도 기반의 학습 방법 5
• 2.3 분할 과업에서의 클래스 불균형 5
• 3 제안 방법 6
• 3.1 과업 배경 6
• 3.2 과업 개요 6
• 3.3 제안 방법 7
• 3.3.1 신뢰도 추정 7
• 3.3.2 신뢰도 기반의 적응적 의사 라벨 8
• 3.3.3 신뢰도 기반의 적응적 가중 손실 8
• 3.3.4 신뢰도 기반의 적응적 학습률 9
• 4 실험 11
• 4.1 사용 데이터 집합 11
• 4.2 ACDC 데이터 집합에서의 실험 결과 11
• 4.3 Cityscapes-C 데이터 집합에서의 실험 결과 12
• 4.4 OnDA 데이터 집합에서의 실험 결과 12
• 4.5 클래스 불균형 문제에 대한 실험 결과 13
• 4.6 세부 구현 내용 14
• 4.7 데이터 증강 선택에 따른 실험 결과 15
• 4.8 하이퍼파라미터 민감도 실험 결과 15
• 4.9 제거 실험 결과 16
• 5 결론 17
• References 18