Temporally consistent long-term memory for 3D single object tracking

다국어 초록 (Multilingual Abstract)

3D Single Object Tracking (3D-SOT) aims to localize a target object across a sequence of LiDAR point clouds, given its 3D bounding box in the first frame. Recent methods have adopted a memory-based approach to utilize previously observed features of the target object, but remain limited to only a few recent frames. This work reveals that their temporal capacity is fundamentally constrained to short-term context due to severe temporal feature inconsistency and excessive memory overhead. To this end, we propose a robust long-term 3D-SOT framework, ChronoTrack, which preserves the temporal feature consistency while efficiently aggregating the diverse target features via long-term memory. Based on a compact set of learnable memory tokens, ChronoTrack leverages long-term information through two complementary objectives: a temporal consistency loss and a memory cycle consistency loss. The former enforces feature alignment across frames, alleviating temporal drift and improving the reliability of proposed long-term memory. In parallel, the latter encourages each token to encode diverse and discriminative target representations observed throughout the sequence via memory-point-memory cyclic walks. As a result, ChronoTrack achieves new state-of-the-art performance on multiple 3D-SOT benchmarks, demonstrating its effectiveness in long-term target modeling with compact memory.

국문 초록 (Abstract)

3D 단일 객체 추적(3D-SOT)은 첫 프레임에서 주어진 대상의 3차원 경계상자를 바탕으로, 연속된 LiDAR 점군 시퀀스 전반에서 대상의 위치를 추정하는 것을 목표로 한다. 최근 방법들은 대상에서 관측된 과거 특성을 활용하기 위해 메모리 기반 접근을 도입했지만, 여전히 소수의 최근 프레임으로 범위가 제한된다. 본 연구는 타겟 객체의 심각한 시간적 특징 불일치와 과도한 메모리 오버헤드로 인해 이들 방법의 시간적 범위가 본질적으로 단기 맥락에 국한됨을 밝힌다. 이에 우리는 시간적 특징의 일관성을 유지하면서 장기 메모리를 통해 다양한 대상 특성을 효율적으로 집약하는 견고한 장기 3D SOT 프레임워크 ChronoTrack을 제안한다. ChronoTrack은 경량의 학습 가능한 메모리 토큰에 기반하여, 시간적 일관성 손실과 메모리 순환 일관성 손실이라는 두 가지 상호보완적 손실 항을 통해 효과적으로 장기 정보를 활용한다. 전자는 프레임 간 타겟 객체의 특징 정렬을 강제하여 시간적 드리프트를 완화하고 제안하는 장기 메모리의 신뢰도를 높인다. 동시에 후자는 메모리에서 포인트로 다시 메모리로 이어지는 순환 경로를 통해, 시퀀스 전반에서 관측된 다양한 타겟 객체의 표현을 각 토큰이 포착하도록 유도한다. 그 결과 ChronoTrack은 여러 3D-SOT 벤치마크에서 새로운 최고 성능을 달성했으며, 경량 메모리 구조로 장기 대상 모델링의 효과성을 입증한다.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• Chapter 2. Related Work 6
• Chapter 3. Method 10
• 3.1. Overview 10
• 3.1.1. Task Definition 10
• 3.1.2. Overall Pipeline 10
• 3.2. Long-Term Memory 12
• 3.3. Temporal Consistency Loss 15
• 3.4. Memory Cycle Consistency Loss 18
• 3.5. Training Objective 20
• Chapter 4. Experiments 21
• 4.1 Implementation Details 21
• 4.1.1. Architecture 21
• 4.1.2. Training and Inference Details 21
• 4.2. Datasets and Metrics 23
• 4.2.1. Datasets 23
• 4.2.2. Metrics 23
• 4.3. Comparison with State-of-the-art Methods 25
• 4.3.1. KITTI 25
• 4.3.2. NuScenes 28
• 4.3.3. WOD 29
• 4.4. Ablation Study 30
• 4.4.1. Component ablation 30
• 4.4.2. Ablation on various sequence lengths 32
• 4.4.3. Design choice of background memory 34
• 4.4.4. Diversity of memory tokens 35
• 4.4.5. Scalability 36
• Chapter 5. Conclusion 37
• References 38
• Appendix 42