Context-Aware Deep Networks for Precise Disparity Estimation of Satellite Stereo Image = 위성 스테레오 영상의 정밀한 시차 추정을 위한 맥락 기반 딥러닝 네트워크

국문 초록 (Abstract)

위성 스테레오 이미지에서의 시차 추정은 복잡한 지형, 고층 건물 및 구조물로 인한 폐색, 도로, 강, 건물 지붕과 같은 텍스처가 없는 영역 등으로 인해 매우 도전적인 작업이다. 최근 딥러닝 기반 위성 스테레오 시차 추정 방법들은 이러한 문제를 해결하기 위해 계단식 다중 스케일(cascade multi-scale) 특징 추출 기법을 채택해왔다. 그러나 최근의 학습 기반 방법들 또한 모호성이 높은 영역에서 시차를 효과적으로 추정하는 데 여전히 어려움을 겪고 있다.
본 연구는 고해상도 원격 탐사 스테레오 영상에서의 시차 추정을 위해 두 가지 딥러닝 네트워크인 CCA-Net과 UGC-Net을 제안하며, 이를 통해 맥락 정보가 시차 추정에서 얼마나 중요한 역할을 하는지를 강조한다. 두 네트워크는 서로 다른 메커니즘을 통해 시차 추정 과정에 맥락 단서를 통합하며, 기존의 계단식 다중 스케일 비용 볼륨 기반 접근법보다 우수한 성능을 달성하였다.
CCA-Net은 3D-CBAM과 Context Cross-Attention(CCA) 모듈을 결합하여, 맥락 정보를 비용 볼륨 내에 직접 통합함으로써 폐색이나 텍스처가 부족한 영역에서의 추정 성능을 향상시킨다. UGC-Net은 이를 확장하여, 기하학적 비용 볼륨에서 도출된 불확실성을 가중치로 활용하는 불확실성 기반 기하학–맥락 융합 전략을 제시한다. 이러한 접근은 복잡하고 비균질한 위성 장면에서도 안정적이고 신뢰도 높은 시차 추정을 가능하게 한다.
실험 결과, 두 네트워크 모두 맥락 정보를 효과적으로 활용함으로써 위성 스테레오 영상의 시차 추정 정확도, 견고성, 그리고 일반화 성능이 크게 향상됨을 입증하였다. 따라서 본 연구는 위성 영상에서 맥락 정보가 단순한 보조적 요소를 넘어, 정확하고 일관된 시차 추정을 위한 핵심 요인임을 보여준다.

다국어 초록 (Multilingual Abstract)

Estimating disparity in satellite stereo images is a highly challenging task due to complex terrain, occlusions caused by tall buildings and structures, and texture-less regions, such as roads, rivers, and building roofs. Recent deep learning–based satellite stereo disparity estimation methods have adopted cascade multi-scale feature extraction techniques to address these challenges. However, even state-of-the-art learning-based approaches still struggle to estimate disparity in regions with high ambiguity accurately.
This paper proposes two deep learning networks—CCA-Net and UGC-Net—for disparity estimation in high-resolution remote sensing stereo imagery, emphasizing the crucial role of contextual information in this task. The two networks incorporate contextual cues into the disparity estimation process through different mechanisms and achieve superior performance compared to convention cascade multi-scale cost-volume–based approaches.
CCA-Net combines 3D-CBAM with a Context Cross-Attention (CCA) module to directly integrate contextual information into the cost volume, thereby improving estimation performance in occluded or texture-less areas. UGC-Net further extends this idea by introducing an uncertainty-guided geometry–context fusion strategy, which uses uncertainty derived from geometric cost volumes as weighting factors. This approach enables stable, reliable disparity estimation even in complex, heterogeneous satellite scenes.
Experimental results demonstrate that both networks effectively leverage contextual information, significantly improving the accuracy, robustness, and generalization capability of disparity estimation in satellite stereo imagery. Therefore, this paper shows that contextual information is not merely an auxiliary component but a key factor for achieving precise and consistent disparity estimation in satellite imagery.

목차 (Table of Contents)

• 1 Introduction 1
• 1.1 Concept and applications of remote sensing 1
• 1.2 Remote sensing–based 3D reconstruction 3
• 1.3 3D Reconstruction procedure using satellite stereo imagery 6
• 1.4 Challenges in satellite stereo matching 12
• 1.5 Our motivation and contributions 18
• 1.6 Keyword definition 29
• 1.6.1 Stereo matching structure 29
• 1.6.2 Stereo matching pipelines 32
• 1.6.3 Stereo matching strategy 34
• 2 Related Works 35
• 2.1 Classical methods for stereo matching in satellite image 35
• 2.2 Deep learning-based stereo matching methods for satellite image 37
• 3 Proposed Methods 44
• 3.1 CCA-Net(Context-aware Cross-Attention Network) 45
• 3.1.1 CCA-Net architecture overview 45
• 3.1.2 CCA-Net feature extraction 46
• 3.1.3 CCA-Net create cost volume 48
• 3.1.4 CCA-Net cost aggregation 49
• 3.1.5 CCA-Net disparity calculation 54
• 3.1.6 CCA-Net training loss 54
• 3.2. UGC-Net (Uncertainty Guided Cost volume) 56
• 3.2.1 UGC-Net architecture overview 56
• 3.2.2 UGC-Net feature extraction 59
• 3.2.3 UGC-Net cost volume generation 59
• 3.2.4 UGC-Net cost aggregation 60
• 3.2.5 Uncertainty attention module 62
• 3.2.6 UGC-Net disparity prediction 70
• 3.2.7 UGC-Net training loss 70
• 4 Datasets and Implementation details 72
• 4.1 Dataset 72
• 4.1.1 US3D dataset 72
• 4.1.2 WHU-Stereo dataset 74
• 4.2 Evaluation metric 76
• 4.3 Implementation details 77
• 4.3.1 CCA-Net implementation details 77
• 4.3.2 UGC-Net implementation details 77
• 5 Experimental results and Analyses 79
• 5.1 US3D dataset result 79
• 5.2 WHU-Stereo dataset result 82
• 5.3 Texture-less areas 85
• 5.4 Discontinuities and occlusions areas 87
• 5.5 Repetitive pattern areas 89
• 6 Ablation study 91
• 6.1 CCA-Net ablation study 91
• 6.1.1 Effect of adding 3D-CBAM to the cost volume 92
• 6.1.2 Effect of adding CCA module 93
• 6.2 UGC-Net ablation study 94
• 7 Discussion 101
• 8 Conclusions 104
• Bibliography 106
• Abstract 113
• 초록 115