Scene-aware open-vocabulary object detection in remote sensing via feature alignment

국문 초록 (Abstract)

원격 탐사 분야의 개방형 어휘 객체 탐지는 이미지와 텍스트 임베딩 간의 정렬을 통해 다양한 RS 영상에서 주목할 만한 일반화 성능을 보여주었다. 이러한 방법들은 시각 및 텍스트 도메인 양쪽에서 추가적인 장면 수준의 컨텍스트를 통합함으로써 탐지 성능을 더욱 향상시켰다. 하지만 기존 방법들은 이미지의 객체 레이블에 대한 텍스트 임베딩을 단순히 평균내는 방식으로 장면 문맥(context)을 근사하는데, 이는 원격 탐사 장면에 존재하는 풍부한 언어적 문맥을 포착하기에 불충분하다. 이러한 한계를 해결하기 위해, 우리는 특화된 비전-언어 모델(VLM)이 생성한 고품질 캡션을 통해 포괄적인 장면 표현을 구축하는 새로운 FASE (Feature-Aligned Scene Encoding)를 제안한다. 우리의 FAM (Feature Alignment Module)은 게이팅(gating) 및 교차 어텐션(cross-attention)을 사용한 이중 분기 융합(dual-branch fusion)을 통해, 도메인 특화 캡션 임베딩과 일반 ４９ 텍스트 특징을 융합하여 견고한 장면 표현을 생성한다. 이렇게 생성된 표현은 이후 시각 특징(visual features)과의 정렬을 촉진한다. 우리의 방법은 향상된 장면 인코딩을 훈련(training) 중에만 활용함으로써, 추론(inference) 복잡성을 증가시키지 않으면서도 풍부한 문맥 지식을 내재화(internalize)한다. 여러 벤치마크에서의 실험은 원격 탐사 분야 개방형 어휘 객체 탐지에 대한 우리 접근 방식의 유효성을 검증하며, 최신 기술(state-of-the-art) 방법 대비 상당한 성능 향상을 입증하였다.

다국어 초록 (Multilingual Abstract)

Open-vocabulary object detection (OVD) in remote sensing (RS) has shown remarkable generalization capabilities across diverse RS imagery through alignment between image and text embeddings. Such methods have further improved detection performance by incorporating additional scene-level context from both visual and textual domains. However, existing methods approximate scene context by simply averaging the text embeddings of the image’s object labels, which is insufficient to capture the rich linguistic context present in RS scenes. To address this limitation, we propose a novel Feature-Aligned Scene Encoding (FASE), which constructs comprehensive scene representations through high-quality captions generated by a specialized vision-language model. Our Feature Alignment Module (FAM) creates a robust scene representation by fusing domain-specific caption embeddings with general text features through dual-branch fusion with gating and cross-attention. This resulting representation then facilitates the alignment with visual. features. By utilizing enhanced scene encoding only during training, our method internalizes rich contextual knowledge without increasing inference complexity. Experiments on multiple benchmarks demonstrate significant improvements over state-of-the-art methods, validating the effectiveness of our approach for OVD in RS.

목차 (Table of Contents)

• 1. Introduction 1
• 2. Related Work 6
• 2.1. Conventional Object Detection (Closed-Set) 6
• 2.2. Open-Vocabulary Object Detection (Open-Set) 8
• 2.3. Multimodal Foundation Models for Remote Sensing 9
• 3. Methodology 12
• 3.1. Overview 12
• 3.2. Object-Scene Contextual Captioning 13
• 3.3. Feature Alignment Module (FAM) 18
• 3.4. Loss Function 20
• 3.5. Training-Inference Separation Strategy 23
• 4. Experimental Results 25
• 4.1. Experimental Setup 25
• 4.2. Experimental Results 30
• 4.3. In-depth Analysis 34
• 5. Limitation & Future work 38
• 5.1. Enhancing the Image Encoder via Background Priors 38
• 5.2. Generalization to Diverse Domains and Tasks 39
• 6. Conclusion 40
• References 41
• Korean Abstract 48