Open-set 데이터 포함 도메인 변화환경에서 Test-Time Domain Adaptation 성능 향상 연구

국문 초록 (Abstract)

딥러닝 모델은 훈련과 테스트 데이터 간 도메인 변화 발생 시 성능 저하를 겪는 다. Test-Time Domain Adaptation (TTA)은 도메인 변화를 겪은 테스트 데이터를 직접 활용하여 추론 중 모델을 적응시키는 것을 목표로 하는 연구이다. 나아가, Open-set TTA (OSTTA)는 학습 데이터에 포함되지 않은 클래스 데이터가 테스트 데이터에 포함된 TTA 환경이다. 모델 자신의 예측을 기반으로 모델을 적응시키는 TTA의 자가 학습 구조에서, 이러한 open-set 데이터는 노이즈 데이터로 작용하여 성능을 저하시킨다. 선행 연구는 소스 도메인 사전학습 모델의 신뢰도를 open-set 데이터를 판별하는 기준으로 활용하고, 판별된 open-set 데이터의 엔트로피를 최대화하는 학습을 제안했다. 그러나, 도메인 지식을 필터링에 반영하지 못해 낮은 필터링 정확도를 보인다. 한편, 단순히 적응 중인 모델을 필터링에 활용한다면 오류 누적이 발생하는 한계가 있다. 본 논문에서는 오류 누적을 피하며 도메인 지식을 반영하기 위해, Exponential Moving Average (EMA) 모델 기반 2차 검증 필터링 프래임워크를 제안한다. 추가로, OSTTA 환경에서 추론 정확도를 높이기 위한 신뢰도 기반 앙상블 기법을 제안한다. 제안 방법을 다양한 벤치마크 데이터셋에 대해 실험한 결과, 예측 성능과 open-set 탐지 성능 모두 향상되었다.

다국어 초록 (Multilingual Abstract)

Deep learning models suffer from performance degradation when domain shifts occur between training and test data. Test-Time Adaptation (TTA) aims to adapt models during inference by directly leveraging test data that has undergone domain shifts. Furthermore, Open-set TTA (OSTTA) refers to a TTA setting where the test data contains samples from classes not present in the training data. In the self-training framework of TTA, where models adapt based on their own predictions, such open-set data acts as noisy data and degrades performance. Prior work has proposed using the confidence scores of source domain pre-trained models as criteria for detecting open-set samples and maximizing the entropy of the identified open-set data during training. However, this approach exhibits low filtering accuracy due to its inability to incorporate domain knowledge into the filtering process. On the other hand, simply utilizing the adapting model for filtering leads to error accumulation. In this paper, we propose an Exponential Moving Average (EMA) model-based two-stage verification filtering framework to avoid error accumulation while incorporating domain knowledge. Additionally, we propose a confidence-based ensemble technique to improve inference accuracy in OSTTA settings. Experimental results on various benchmark datasets demonstrate improvements in both prediction performance and open-set detection performance.

목차 (Table of Contents)

• 제1장 서론 1
• 1. 연구 필요성 1
• 2. 연구 목적과 연구방법론 4
• 제2장 관련 연구 6
• 1. Test-Time Domain Adaptation 6
• 2. Open-set Test-Time Domain Adaptation 8
• 제3장 문제 정의 및 분석 10
• 1. 문제 정의 10
• 2. 문제 분석 12
• 제4장 제안 방법 16
• 1. Primary-Auxiliary Filtering 16
• 2. Knowledge-Integrated Prediction 18
• 제5장 실험 및 결과 20
• 1. 실험 환경 및 세부 구현 20
• 2. 실험 결과 22
• 3. 각 기법의 효과 분석 28
• 4. 하이퍼파라미터 민감도 분석 31
• 5. 효율성 평가 32
• 6. Open-set 및 Closed-set 데이터의 필터링 흐름도 33
• 7. 적응 모델과 EMA 모델의 학습 궤적 비교 35
• 8. Foundation Model에 대한 적용 실험 36
• 9. 객체 분할 작업에 대한 적용 실험 38
• 10. 단일 배치 적응 성능 분석 40
• 제6장 결론 41
• 참고문헌 42