Efficient and Robust Domain Adaptation for Object Detection via Region-Level Alignment and Online Adaptation = 영역 수준 정렬 및 온라인 적응을 활용한 효율적이고 강건한 객체 검출 도메인 적응 방법

다국어 초록 (Multilingual Abstract)

The practical deployment of deep learning-based object detectors, despite their benchmark successes, remains vulnerable to performance degradation under domain shifts—mismatches between the training and testing data distributions. These shifts, stemming from real-world variations in lighting, weather, scene composition, and sensor characteristics, call for robust adaptation mechanisms to ensure reliable operation. This dissertation addresses these challenges through a comprehensive study of adaptation strategies, spanning from offline preparation to dynamic online adaptation at inference time.

We begin by revisiting Unsupervised Domain Adaptation (UDA), which enables learning in target domains where labels are unavailable. Object detection presents unique challenges as it requires not only classification but also accurate localization, which involves regressing localization-specific continuous values (e.g., bounding box offsets). Most existing UDA methods focus on category-level alignment, which—while generally effective for classification—may fall short in preserving the spatial precision required for detection. To overcome this, we propose Offset-Aware Domain Adaptation (OADA), a novel offline approach that conditions feature alignment directly on offset predictions. By explicitly accounting for localization-sensitive variations, OADA significantly improves the effectiveness of feature alignment and strengthens the generalization capacity of detectors across domains.

Recognizing that offline strategies alone are insufficient in dynamically changing environments, we further explore Continual Test-Time Adaptation (CTA), where models must incrementally adapt to unlabeled test streams without access to source data. Existing online adaptation methods are typically designed for classification and fail to account for the structural and architectural characteristics of object detection. In particular, reliance on Batch Normalization updates proves unstable under small batch sizes and incompatible with modern detectors based on LayerNorm or Transformer backbones.

To address this, we introduce a lightweight, architecture-agnostic CTA framework tailored to object detection. Our method freezes the pre-trained backbone and updates only compact adaptor modules, ensuring efficiency and stability while preserving source-domain knowledge. We further incorporate class-wise alignment and a selective update mechanism that dynamically determines when adaptation is necessary, enabling the model to respond effectively to evolving domains without incurring excessive computational cost.

In summary, this dissertation presents a unified and detection-aware framework for domain adaptation under both offline and online settings. By combining offset-aware alignment with a principled continual adaptation strategy, we significantly enhance the robustness and deployability of object detectors in complex, real-world environments characterized by continuous domain shifts.

국문 초록 (Abstract)

딥러닝 기반 객체 탐지 모델은 다양한 벤치마크에서 우수한 성능을 보이며 빠르게 발전해왔지만, 실제 환경에서는 학습 시와 다른 조건으로 인해 발생하는 도메인 차이로 성능 저하가 빈번하게 발생한다. 조명, 날씨, 장면 구성, 센서 특성 등 여러 요인으로 인해 데이터 분포가 달라지는 실제 환경에서는, 모델이 강건하게 일반화되도록 적응 능력을 갖추는 것이 중요하다.

본 논문은 이러한 문제를 해결하기 위해, 객체 탐지 모델의 적응을 위한 두 가지 상이한 시나리오에 대응하는 방법론을 제안한다.

첫째, 라벨이 없는 타겟 도메인에 대해 오프라인에서 사전 학습을 수행하는 비지도 도메인 적응(Unsupervised Domain Adaptation) 시나리오를 다룬다. 객체 탐지는 분류와 위치 추정이라는 두 가지 요소가 얽혀 있으며, 특히 앵커 프리 탐지기에서는 위치 정보(오프셋 값 등)가 특징 분포에 미치는 영향이 크다. 본 논문에서는 기존의 분류 중심 정렬 방식이 이러한 연속적인 공간 정보를 고려하지 못해 부정적 전이(negative transfer)를 일으킬 수 있음을 지적하고, 오프셋 정보를 기반으로 특징을 정렬하는 Offset-Aware Domain Adaptation (OADA) 방법을 제안한다.

둘째, 실시간으로 들어오는 데이터 스트림에 따라 모델을 점진적으로 적응시키는 연속적 시험 시간 적응(Continual Test-Time Adaptation, CTA) 문제를 다룬다. 기존의 많은 온라인 적응 방법들은 이미지 분류를 전제로 한 설계로, 객체 탐지의 특수성을 충분히 반영하지 못한다. 예를 들어, 대부분의 방법은 Batch Normalization(BN) 통계를 기반으로 모델을 적응시키는데, 이는 작은 배치 사이즈를 사용하는 객체 탐지에서 불안정하거나 효과적이지 않을 수 있으며, BN이 없는 트랜스포머 기반 아키텍처에는 적용이 불가능하다.

이러한 점을 고려하여, 본 논문에서는 사전 학습된 모델 구조는 고정하고, 소수의 어댑터 모듈만 업데이트함으로써 파라미터 수를 크게 줄이고 적응 효율성을 높였다. 더불어, 클래스별 특징 정렬 및 도메인 변화에 따라 선택적으로 업데이트 시점을 조절하는 방식으로 계산 비용을 절감하며, 다양한 백본 아키텍처(CNN 기반, 트랜스포머 기반 모두 포함)에 범용적으로 적용 가능한 구조를 갖춘다. 이로써 본 논문은 객체 탐지의 복합적 특성과 실제 환경에서의 적응 요구를 모두 반영한 실용적인 CTA 방법을 제시한다.

종합적으로, 본 논문은 객체 탐지 모델이 다양한 환경 변화 속에서도 성능을 안정적으로 유지하고 실제 환경에 배포 가능한 강건한 적응 능력을 갖추도록 지원하는 두 가지 접근법(OADA, CTA)을 제안하며, 실험을 통해 그 효과를 입증하였다.

목차 (Table of Contents)

• 1 Introduction 1
• 1.1 Problem Definition and Terminology 1
• 1.2 Challenges 2
• 1.2.1 Unsupervised Adaptation with Limited Target Supervision 3
• 1.2.2 Adaptation in Non-Stationary and Continual Streams 4
• 1.2.3 Limitations of Existing Adaptation Methods for ObjectDetection 5
• 1.3 Contributions 7
• 1.3.1 Offset-Aware Domain Adaptation (OADA) 7
• 1.3.2 Efficient Continual Test-Time Adaptation (CTA) 7
• 1.4 Dissertation Outline 8
• 2 Related Works 9
• 2.1 Unsupervised Domain Adaptation (UDA) 9
• 2.1.1 General Unsupervised Domain Adaptation 10
• 2.1.2 Unsupervised Domain Adaptation for Object Detection 11
• 2.2 Online Adaptation at Test Time 12
• 2.2.1 General Test-Time Adaptation (Classification-centric) 13
• 2.2.2 Continual Test-Time Adaptation (CTA) 14
• 2.2.3 Test-Time Adaptation for Object Detection (TTAOD) 15
• 3 Offset-Aware Unsupervised Domain Adaptation for Ob- ject Detection 17
• 3.1 Key Analysis: Offset-Induced Feature Disparity 17
• 3.2 Method 20
• 3.2.1 GlobalAlignment 21
• 3.2.2 Generating Conditional Features to Offset Values 21
• 3.2.3 How to get a confident offset value?25
• 3.2.4 Overall Loss 27
• 3.2.5 Further Improvement via Self-Training 27
• 3.3 Experiments 30
• 3.3.1 Datasets 30
• 3.3.2 Implementation Details 31
• 3.3.3 Main Results 32
• 3.3.4 Analysis on Discriminability and Transferability 34
• 3.3.5 Analysison Binning Behavior 36
• 3.3.6 Ablation Studies 39
• 3.3.7 QualitativeResults 40
• 3.4 Conclusion 41
• 4 Continual Test Time Adaptation for Object Detection 47
• 4.1 Method 49
• 4.1.1 Preliminary 49
• 4.1.2 What to update: Adaptation via an adaptor 50
• 4.1.3 How to update: EMA feature alignment 50
• 4.1.4 When to update: Adaptation on demand 53
• 4.2 Experiments 56
• 4.2.1 Datasets 56
• 4.2.2 Baselines 58
• 4.2.3 Implementation Detail 59
• 4.2.4 Main Results 60
• 4.2.5 Analysis of Adaptation Behavior 64
• 4.2.6 Ablation Studies 69
• 4.3 Qualitative Results 76
• 4.4 Conclusion 80
• 5 Conclusion 89
• 5.1 Summary 89
• 5.2 Future Works 91
• 5.2.1 Unifying Offline and Online Adaptation for Object Detection 91
• 5.2.2 Adapting to Novel Object Categories in Open-World Settings 92
• 6 Appendix 94
• Appendix A. Background on Adversarial Domain Adaptation 94
• Abstract (In Korean) 111
• 감사의 글 113