RSMeasure: A Vision-Language Model for Answering in Ground Scale Units in Remote Sensing Imagery = RSMeasure: 원격탐사 영상에서 객체의 실제 크기 답변을 위한 비전-언어 모델

국문 초록 (Abstract)

비전-언어 모델(Vision-Language Model, VLM)은 이미지와 텍스트 데이터를 통합적으로 처리할 수 있는 딥러닝 모델로, 다양한 컴퓨터 비전 및 자연어 처리 과제에서 뛰어난 성능을 보여주고 있다. 이러한 모델들은 이미지 캡셔닝(image captioning), 시각적 질의응답(Visual Question Answering, VQA), 교차 모달 검색(cross-modal retrieval) 등에서 탁월한 결과를 보이며, 이미지와 텍스트 간의 풍부한 의미적 대응 관계를 학습할 수 있음을 입증하였다. 이러한 흐름에 따라, 비전-언어 모델은 자연 영상뿐 아니라 원격탐사(Remote Sensing, RS) 분야로도 적극적으로 확장되고 있다.
그러나 원격탐사 영상은 자연 영상과는 다른 고유한 특성을 지니며, 공간 해상도 및 지상 표본 간격(Ground Sample Distance, GSD)과 같은 수치 정보가 중요한 요소 중 하나이다. 이러한 수치 정보는 영상 내 객체의 물리적 특성에 대한 정량적 분석에 필수적이지만, 기존 비전-언어 모델들은 이를 효과적으로 해석하고 활용하는 데 한계가 있다. 이는 현재 대부분의 모델과 데이터셋이 객체의 시각적 속성이나 관계에 초점을 맞추고 있으며, 정량적 수치 정보를 충분히 반영하지 못하고 있기 때문이다. 그 결과, 원격탐사 영상에서 정확한 수치를 포함한 답변을 생성(numerical value answering)하는 데 어려움이 존재한다.
이러한 한계를 극복하기 위해, 본 논문에서는 원격탐사 영상에서의 정량적 수치 추론 능력을 향상시키기 위한 비전-언어 모델 RSMeasure를 제안한다. 또한, 수치 예측 과제에 특화된 이미지–지시문–응답(image–instruction–response) 형태의 데이터셋 RSMeasure-Instruct를 구축하여 모델의 수치 이해 능력을 강화하였다.
RSMeasure-Instruct는 공개 원격탐사 객체 탐지 데이터셋(DIOR, DOTA, FAIR1M, fMoW 등)을 기반으로 구축되었으며, 객체의 길이, 폭, 면적 등 정량적 속성을 포함한 포괄적인 객체 수준의 주석을 제공한다. 이러한 측정값은 GSD 메타데이터와 경계 상자(bounding box)를 입력으로 사용하는 Segment Anything Model을 활용하여 생성된 인스턴스 분할 마스크(instance segmentation mask)를 통해 계산되며, 영상 내 정량적 관계를 정밀하게 학습할 수 있도록 한다. 생성된 데이터셋은 이미지–지시문–응답 형식으로 구성되어 있으며, 정량적 추론에 초점을 맞춘 지시적 캡셔닝(referred captioning)과 시각적 질의응답(VQA) 두 가지 주요 과업을 지원한다.
모델의 수치 추론 능력을 강화하기 위해 두 가지 접근 방식을 적용하였다. 첫째, 숫자 표현의 토큰화를 개선한 Numeric-Enhanced Tokenizer를 도입하였다. 이 토크나이저는 과학적 표기법(scientific notation)과 지수(exponent) 표현을 지원하여 모델이 수치 데이터를 보다 정확히 이해하고 생성할 수 있도록 한다. 또한, chain-of-thought 프롬프트를 활용하여 단계적 수치 추론 과정을 강화하였다. 둘째, 영상 속성 프롬프트 모듈(Image Description Prompt Module)을 도입하여 GSD 정보와 영상의 물리적 크기 정보를 통합함으로써 공간 해상도(spatial resolution) 정보를 제공하였다. 이를 통해 모델은 객체의 크기 정보를 픽셀 단위 측정값을 실제 크기(ground scale)로 논리적으로 변환할 수 있다. 이러한 구성 요소들을 통합하여 RSMeasure는 RSMeasure-Instruct 데이터셋을 기반으로 정량적 추론 과업을 효과적으로 학습하도록 미세조정(fine-tuning)하였다.
실험 결과, RSMeasure는 RSMeasure-Instruct의 평가용 데이터셋에서 수행된 지시적 캡셔닝과 VQA 과업 모두에서 기존 비전-언어 모델들을 크게 능가하는 성능을 보였다. 정성적 분석 결과 또한 RSMeasure가 원격탐사 영상 내에서 정확한 수치 추정을 수행하고 정량적 관계를 논리적으로 추론할 수 있음을 확인하였다. 추가적인 구성 요소별 평가를 통해 Numeric-Enhanced Tokenizer와 영상 속성 프롬프트 모듈이 모두 성능 향상에 기여함을 검증하였다. 이러한 결과는 RSMeasure의 효과성을 입증하며, 원격탐사 분야에서의 정량적 이해 향상 가능성을 보여준다.

다국어 초록 (Multilingual Abstract)

Recent advances in deep learning, particularly Vision–Language Models (VLMs), have significantly enhanced multimodal understanding by enabling the joint interpretation of visual and textual information. These models have demonstrated remarkable success across various domains, including image captioning, Visual Question Answering (VQA), and cross-modal retrieval, by learning rich semantic correspondences between images and text. Following this trend, VLMs have also been actively applied in the field of remote sensing, extending their utility from natural image understanding to aerial and satellite imagery analysis.
However, remote sensing imagery inherently encodes quantitative information—such as object dimensions and distances—through the Ground Sampling Distance (GSD), which existing VLMs are ill-equipped to interpret. Despite progress in multimodal learning, current models and datasets lack fine-grained quantitative annotations and do not effectively utilize GSD metadata, limiting their ability to perform accurate numerical value answering in remote sensing imagery.
To address these limitations, this thesis proposes RSMeasure, a vision–language model designed for quantitative reasoning, along with its corresponding instruction-following dataset, RSMeasure-Instruct, tailored for numerical value answering tasks. RSMeasure-Instruct is constructed using open-source remote sensing object detection datasets, including DIOR, DOTA, FAIR1M, and fMoW, and provides comprehensive object-level quantitative annotations such as object length and area. These measurements are derived from GSD metadata and instance segmentation masks generated by the Segment Anything Model using bounding box prompts, enabling precise learning of quantitative relationships in imagery. The dataset is organized as large-scale image–instruction–response pairs, supporting two primary tasks: referred captioning and VQA, both emphasizing numerical value answering.
To enhance numerical value answering within the model, a twofold strategy is employed. First, a Numeric-Enhanced Tokenizer is introduced to improve the representation of numerical expressions in text. This tokenizer refines number tokenization by supporting scientific and exponential notation, enabling the model to better comprehend and generate numerical values. In addition, chain-of-thought prompting is leveraged to strengthen the model’s step-by-step quantitative reasoning process. Second, an Image Description Prompt Module is developed to incorporate GSD information and image dimensions, providing essential spatial resolution context. Consequently, the model can logically associate pixel-level measurements with real-world scales during both training and inference. By integrating these components, RSMeasure is fine-tuned on the RSMeasure-Instruct dataset to effectively perform numerical value answering tasks.
Extensive experiments demonstrate that RSMeasure substantially outperforms existing VLMs in both referred captioning and VQA tasks, as evaluated on the RSMeasure-Instruct test split. Qualitative analyses further confirm its ability to generate accurate numerical values and reason about quantitative relationships in remote sensing imagery. Ablation studies highlight the respective contributions of the Numeric-Enhanced Tokenizer and GSD integration to the model’s overall performance. These results underscore the effectiveness of RSMeasure and its potential to advance numerical value answering in remote sensing applications.

목차 (Table of Contents)

• Abstract i
• List of Figures vi
• List of Tables viii
• List of Abbreviations xii
• Chapter 1. Introduction 1
• 1.1 Background and Motivation 1
• 1.2 Problem Definition 5
• 1.2.1 Limitations in Available Datasets 5
• 1.2.2 Limitations in Numerical Value Answering of RSVLMs 6
• 1.3 Objectives and Scope of the Thesis 8
• 1.4 Organization of the Thesis 10
• Chapter 2. Related Works 11
• 2.1 Vision Language Models 11
• 2.1.1 Representative Architectures 12
• 2.1.2 Pretraining Methods 15
• 2.1.3 Fine-tuning Methods 17
• 2.1.4 Downstream Tasks 18
• 2.1.5 Parameter-Efficient Fine-Tuning 21
• 2.2 Vision Language Models in Remote Sensing 23
• 2.2.1 Dataset Construction 23
• 2.2.2 Expanding Downstream Tasks 24
• 2.3 Numerical Capabilities in LLMs 27
• 2.3.1 Numerical Representation and Interpretation in LLMs 27
• 2.3.2 Techniques for Enhancing Numerical Capabilities 28
• Chapter 3. Dataset Construction 30
• 3.1 Task and Format Definition 32
• 3.2 Data Collection 34
• 3.2.1 DIOR 36
• 3.2.2 DOTA 36
• 3.2.3 FAIR1M 36
• 3.2.4 fMoW 37
• 3.3 Attribute Extraction 39
• 3.3.1 Object Identification Attributes 39
• 3.3.2 Numeric Description Attributes 41
• 3.3.3 Preprocessing of Numeric Values 44
• 3.4 Conversation Generation 46
• 3.4.1 Object Phrases 46
• 3.4.2 Conversation Types 47
• 3.4.3 Sentence Templates and Fill-in 49
• 3.4.4 Instruct-Response Matching 50
• 3.5 Dataset Specifications 54
• 3.5.1 Attribute Distribution 54
• 3.5.2 Dataset Composition and Statistics 61
• 3.5.3 Dataset Examples 63
• Chapter 4. Proposed Methods 66
• 4.1 Model Architecture 67
• 4.1.1 Image Description Prompt Module 67
• 4.1.2 Numeric Enhanced Tokenizer with Special Tokens 69
• 4.1.3 Overall Model Structure 71
• 4.2 Model Training 73
• 4.2.1 Pretraining 73
• 4.2.2 Fine-tuning 74
• 4.2.3 Loss Function 74
• Chapter 5. Experiments and Results 75
• 5.1 Implementation Details 75
• 5.2 Evaluation Metrics 78
• 5.2.1 Language Modeling Metrics 78
• 5.2.2 Numerical Value Estimation Metrics 79
• 5.3 Experimental Results 81
• 5.3.1 Referred Captioning Results 81
• 5.3.2 VQA Results 86
• Chapter 6. Discussion 93
• 6.1 Effect of RSMeasure-Instruct 93
• 6.2 Effect of RSMeasure Structure 95
• 6.3 Error Analysis 100
• Chapter 7. Conclusion 103
• 7.1 Summary 103
• 7.2 Limitations and Future Work 104
• Appendix A. RSMeasure-Instruct Dataset 106
• A.1 Object Attributes Details 106
• A.1.1 Category Distribution 106
• A.1.2 Color Distribution 107
• A.1.3 Size Distribution 108
• A.1.4 Location Distribution 108
• A.2 Object Phrase Generation Details 109
• A.3 Used Pseudo-GSD Values 110
• A.4 Dataset Statistics 110
• References 114
• Abstract in Korean 128