No Crop, No Recompute: Region-Aware Satellite Embeddings for Scalable Weather Retrieval = 기상 위성 이미지의 효율적인 유사도 탐색을 위한 패치단위 임베딩 구조

다국어 초록 (Multilingual Abstract)

How can we retrieve past weather cases that resemble a specific region in a satellite image, without cropping and recomputing embeddings? Analyzing similar cases is a key approach to improving weather forecasting accuracy. Especially, local atmospheric patterns---such as cloud formations or storm centers---often determine event dynamics, making region-specific search crucial. To improve efficiency, forecasting agencies typically store satellite images as embeddings generated by vision models. However, conventional vision models are not specialized for capturing meteorological patterns and typically generate a single embedding per image, making region-specific search inefficient at scale. To address this, we propose \textbf{RaP-Weather}, a Region-aware Patch-level embedding and retrieval framework that enables patch-level similarity search using precomputed features. Our method modifies a Vision Transformer (ViT) backbone to retain spatial information and fine-tune the model with a triplet loss to capture meteorological similarities. Experiments on a large-scale satellite dataset demonstrate that our approach achieves accurate and efficient region-focused retrieval without additional forward passes.

국문 초록 (Abstract)

기상 예측의 정확도를 향상시키기 위한 핵심 접근법 중 하나는 과거의 유사한 날씨 사례를 분석하는 것이다. 특히, 지역적인 대기 패턴---예를 들어 구름 형성이나 폭풍 중심과 같은---은 기상 현상의 전개에 큰 영향을 미치기 때문에, 특정 지역을 중심으로 한 검색은 기상 예측에 있어서 매우 중요하다. 이를 위해 기상 기관들은 위성 이미지를 비전 모델을 통해 임베딩으로 변환하여 저장하지만, 기존 비전 모델은 기상 패턴을 잘 포착하지 못하고 일반적으로 이미지 전체에 대한 하나의 임베딩만을 생성하므로, 특정 지역에 대한 효율적인 검색에는 한계가 존재한다.

이 문제를 해결하기 위해, 우리는 사전 계산된 특징(임베딩)을 활용하여 패치 수준에서 유사도를 검색할 수 있는 지역 인식 기반 임베딩 및 검색 프레임워크인 RaP-Weather를 제안한다. 우리의 방법은 Vision Transformer(ViT) 백본을 수정하여 공간 정보를 보존하고, 삼중항 손실(triplet loss)을 통해 기상학적으로 유사한 패턴을 학습하도록 모델을 미세 조정한다. 대규모 위성 이미지 데이터셋을 활용한 실험 결과, RaP-Weather는 특정 지역을 위한 추가적인 임베딩 없이도 정확하고 효율적인 지역 중심 검색을 가능하게 함을 보여준다.

목차 (Table of Contents)

• 1 Introduction
• 2 Preliminaries
• 2.0.1 ViT
• 2.0.2 LoRA
• 3 Method
• 3.1 Triplet Loss for Finetuning
• 3.2 RaP-Weather Architecture
• 3.3 Training Details
• 4 Experiments
• 4.1 Dataset
• 4.1.1 Satellite Image Data
• 4.1.2 Meteorological Observation Data
• 4.2 Evaluation against Benchmark Metrics
• 4.2.1 Qualitative Analysis
• 4.2.2 Quantitative Analysis with Benchmark Metrics
• 4.2.3 Interpretability Analysis
• 4.3 Quantitative Validation with Meteorological Observation Data
• 4.4 Query Processing Time
• 4.5 Ablation Study
• 4.5.1 Effectiveness of Patch Embedding Size
• 4.5.2 Effectiveness of Subtracting ViT’s Positional Encoding
• 5 Related Work
• 5.1 Image Embedding and Retrieval
• 5.2 Meteorological Similarity Search
• 6 Conclusions
• References
• 국문요약