Robust Target Tracking in Infrared Imagery using Semantic Segmentation = 의미론적 분할 기반 적외선 영상에서의 강건한 표적 추적 기법

국문 초록 (Abstract)

적외선(IR) 영상에서의 강인한 표적 추적은 자율 센싱 및 감시 시스템에서 매우 중요하지만, 낮은 대비, 부족한 텍스처, 열적 교차와 같은 특성으로 인해 가려짐과 교란물이 존재할 때 추적 일관성을 유지하기 어렵다. 최근의 파운데이션 모델, 특히 Segment Anything Model 2 (SAM2)는 분할 기반 추적에서 우수한 일반화 성능을 보였으나, IR 환경에서는 여전히 마스크 예측이 시간에 따라 불안정하게 변동하며 장기 메모리를 오염시키고, 이는 추적의 불안정성과 드리프트로 이어진다. 본 논문에서는 추가 학습 없이 SAM2의 마스크 예측을 주파수 영역에서 정제하고, 시간적 신뢰도 기반으로 메모리 업데이트를 제어하는 새로운 프레임워크를 제안한다. 개별 이진 마스크는 저주파 대역의 이산 코사인 변환(DCT) 계수로 구성된 압축 표현으로 변환되며, 선형-가우시안 칼만 필터가 이 표현 공간에서 표적 운동 상태와 마스크 형상을 공동으로 안정화한다. 이를 통해 전역적인 마스크 구조에 대한 명시적 시간적 사전정보(temporal prior)를 부여한다. 또한, 제안된 신뢰도 기반 메모리 관리 정책은 표적이 명확히 관측되고, 원본 마스크와 정제된 마스크 간의 일치도가 충분할 때에만 SAM2의 메모리 뱅크를 갱신함으로써, 가려짐이나 교란물로 인한 메모리 오염을 효과적으로 방지한다. 공개된 적외선 표적 추적 벤치마크 데이터셋인 LSOTB-TIR 실험 결과, 제안한 SAM2DCTKF 프레임워크는 Success 및 Precision 지표에서 SAM2 대비 일관된 성능 향상을 보였으며, 특히 가려짐(OCC), 교란물(DIS), 열적 교차(TC) 상황에서 성능 개선을 확인하였다.

다국어 초록 (Multilingual Abstract)

Robust target tracking in infrared (IR) imagery is crucial for autonomous sensing and surveillance, yet remains challenging due to low contrast, weak textures, thermal crossover, and frequent occlusions. Recent foundation models such as Segment Anything Model 2 (SAM2) have shown strong generalization in segmentation-based tracking, but their mask predictions in IR scenes often fluctuate over time and contaminate long-term memory, leading to instability and drift. This thesis proposes a training-free framework that refines SAM2-predicted masks in the frequency domain and controls memory updates based on temporal reliability. Each binary mask is encoded as a compact vector of low-frequency discrete cosine transform (DCT) coefficients, and a linear-Gaussian Kalman filter jointly stabilizes the target kinematics and mask shape in this space, imposing an explicit temporal prior on the global mask structure. In addition, a confidence-aware memory management policy updates SAM2's memory bank only when the target is clearly visible and when the raw and refined masks agree sufficiently, thereby preventing memory contamination during occlusions and distractor interference. Experiments on the LSOTB-TIR benchmark demonstrate that the proposed SAM2DCTKF framework achieves consistent gains over the SAM2 baseline in terms of Success and Precision, with notable improvements under occlusion, distractor interference, and thermal crossover, while incurring negligible computational overhead. These results indicate that simple, model-agnostic temporal filtering and memory-control mechanisms can substantially enhance the robustness of foundation-model-based infrared tracking without additional training or architectural changes.

목차 (Table of Contents)

• Abstract i
• Contents iv
• List of Tables v
• List of Figures vii
• Chapter 1 Introduction 1
• 1.1 Motivation 1
• 1.2 Objectives and contributions 3
• Chapter 2 Related Works 5
• 2.1 Target tracking in computer vision 5
• 2.1.1 Siamese tracker 6
• 2.1.2 Transformer tracker 10
• 2.1.3 Foundation model 14
• Chapter 3 Mask refinement via DCT-based filtering 20
• 3.1 Overall framework 20
• 3.2 DCT based mask refinement 22
• 3.2.1 Mask to vector conversion 22
• 3.2.2 Kalman filtering 28
• 3.2.3 Vector to mask conversion 31
• 3.3 Memory bank management policy 33
• Chapter 4 Evaluation 38
• 4.1 Dataset 38
• 4.2 Evaluation Metric 39
• 4.3 Evaluation Result 39
• 4.3.1 Quantitative Result 39
• 4.3.2 Qualitative Result 41
• 4.3.3 Discussion 46
• Chapter 5 Conclusion 48
• Bibliography 50
• 국문초록 54