Real-time Confidence Estimation for Lightweight Stereo Matching Network via Cost Distribution Analysis = 실시간 경량 스테레오 정합을 위한 비용 분포 기반 신뢰도 추정 기법

국문 초록 (Abstract)

딥러닝 기반의 스테레오 정합 기술은 최근 획기적인 정확도 향상을 이루었으나, 로보틱스나 자율 주행과 같은 안전 중요 분야에서는 예측 결과의 신뢰도 추정이 정확도 못지않게 중요하다. 그러나 기존 기법들은 연산량이 많은 3D 컨볼루션에 의존하거나 지연 시간이 긴 2단계 후처리 과정(Post-processing)을 필요로 하여, 자원이 제한된 실시간 시스템 적용에 한계가 있었다.
이에 본 논문에서는 최신 실시간 스테레오 네트워크인 LightStereo에 통합 가능한 초경량 신뢰도 추정 모듈을 제안한다. 본 연구의 핵심은 무거운 고차원 3D 비용 볼륨 대신, 이를 20채널의 콤팩트한 비용 프로파일 볼륨(Cost Profile Volume, CPV)으로 압축하는 것이다. 구체적으로 Top-k 확률, 분포 모멘트, 상대적 인덱스 등 필수 통계적 특징만을 추출하여 메모리와 연산 비용을 최소화하였다. 또한, 효율적인 깊이별 분리 컨볼루션(Depth-wise Separable Convolution) 헤드를 통해 단일 패스(Single-pass)로 픽셀별 신뢰도를 신속하게 예측하도록 설계하였다.
SceneFlow와 KITTI 데이터셋 실험 결과, 제안 기법은 효율성과 정확도 모두에서 우수한 성능을 입증하였다. SceneFlow에서 0.2249의 신뢰도 추정 정확도(AUC)를 달성하여 베이스라인을 상회하였으며, 전체 시스템에 0.12 GFLOPs의 연산량과 3.38 ms의 지연 시간만을 추가하여 오버헤드를 최소화하였다. 정성적 분석에서도 폐색 영역, 물체 경계, 텍스처가 없는 영역 등의 기하학적 불확실성을 강건하게 식별함을 확인하였다.
결론적으로, 제안 기법은 백본의 실시간 성능(약 25 FPS)을 유지하며 고품질 신뢰도 맵을 제공함으로써, 자원이 제한된 로봇 환경에서 안정적인 3D 인식을 가능케 하는 실용적 솔루션이 될 것이다.

다국어 초록 (Multilingual Abstract)

Deep learning-based stereo matching has achieved remarkable accuracy; however, for safety-critical applications like robotics and autonomous driving, estimating the reliability of these predictions is equally crucial. Existing confidence estimation methods often rely on computationally expensive 3D convolutions or high-latency two-stage inference processes, rendering them unsuitable for real-time systems where computational resources are strictly limited. Consequently, there is a growing need for a lightweight, uncertainty-aware solution that can operate efficiently without compromising the speed of the stereo matching backbone.

To address this limitation, we propose a novel, lightweight confidence estimation module seamlessly integrated into LightStereo, a state-of-the-art real-time stereo network. Our key innovation is the construction of a compact 20-channel Cost Profile Volume (CPV). Instead of processing the heavy, high-dimensional 3D cost volume, we efficiently distill it into essential statistical features—including Top-k probabilities, distributional moments, and relative indices—via explicit feature extraction. A highly efficient depth-wise separable convolutional head then predicts pixel-wise confidence in a single forward pass. This design allows the network to capture geometric uncertainties effectively while minimizing memory usage and computational cost.

Experimental results on the SceneFlow and KITTI datasets demonstrate the superiority of the proposed method in terms of both efficiency and accuracy. Our module achieves a confidence estimation accuracy (AUC) of 0.2249 on the SceneFlow dataset, outperforming baseline methods, while imposing a negligible computational overhead of only 0.12 GFLOPs and 3.38 ms of latency. Furthermore, qualitative analysis confirms that the model robustly generalizes to real-world driving scenarios, successfully identifying ill-posed regions such as occlusions, object boundaries, and textureless areas. By maintaining the real-time speed of the backbone network, our method provides a practical and robust solution for uncertainty-aware 3D perception in resource-constrained robotic environments.

목차 (Table of Contents)

• Abstract i
• Table of Contents ii
• List of Tables iv
• List of Figures v
• Chapter 1. Introduction 1
• 1.1. Motivation 1
• 1.2. Problem Statements 3
• 1.2.1. Computational Bottleneck 3
• 1.2.2. High Latency of Two-stage inference Processes 3
• 1.2.3. Structural Dependency on Disparity Range 4
• 1.3. Contributions 5
• 1.4. Thesis Outline 6
• Chapter 2. Related Works 7
• 2.1. Stereo Matching Networks 7
• 2.2. Stereo Confidence Estimation 8
• 2.2.1. Hand-crafted Confidence Measures 8
• 2.2.2. Learning-based Confidence Estimation 10
• Chapter 3. Methodology 11
• 3.1. System Overview 11
• 3.2. Cost Profile Volume: Statistical Distillation 12
• 3.2.1. Top-K Probabilities 12
• 3.2.2. Global Statistical Features 13 3.2.3. Normalized Relative Indices 14
• 3.3. Confidence Head Architecture 15
• 3.3.1. Structural Efficiency 15
• 3.3.2. Parallel Single-pass Inference 16
• 3.4. Training Objective 16
• 3.4.1. Disparity Regression Loss 16
• 3.4.2. Pseudo-Ground Truth Generation 17
• 3.4.3. Weighted Confidence Classification Loss 17
• Chapter 4. Experiments 18
• 4.1. Experimental Setup 18
• 4.1.1. Datasets 18
• 4.1.2. Implementation Details 18 4.1.3. Evaluation Metrics 19
• 4.2. Efficiency Analysis 20
• 4.3. Quantitative Results 22
• 4.4. Qualitative Results 24
• 4.5. Ablation Study 26
• 4.5.1. Impact of Feature Design 26
• 4.5.2. Justification for Top-K Selection 27 4.5.3. Effectiveness of Loss Function 28
• Chapter 5. Conclusions 30
• 5.1. Summary of Research 30
• 5.2. Contributions and Significance 30
• 5.3. Future Works 31
• Bibliography 32
• 국문 초록 34