Towards Efficient Multimodal Visual Perception

다국어 초록 (Multilingual Abstract)

In large vision-language models （LVLMs）, visual tokens typically constitute the majority of input tokens, leading to substantial computational overhead. To address this issue, recent studies have explored pruning redundant or less informative visual tokens for image understanding tasks. However, these methods struggle with pixel grounding tasks, where token importance is highly contingent on the input text. Through an in-depth analysis of CLIP, it is observed that visual tokens located within referent regions often exhibit low similarity to their textual representation. Motivated by this insight, this study introduces LiteLVLM, a training-free, text-guided token pruning strategy designed for efficient pixel grounding inference. By reversing the ranking of CLIP’s visual-text similarity, LiteLVLM effectively retains visual tokens that correspond to referent regions, while recovering context tokens to enable clear foreground-background separation. Extensive experiments demonstrate that LiteLVLM significantly outperforms existing methods by over 5% across diverse token budgets. Furthermore, without any additional training or fine-tuning, LiteLVLM maintains 90% of the original performance while achieving 22% speedup and a 2.3× memory reduction.

국문 초록 (Abstract)

대규모 비전-언어 모델 （Large Vision-Language Model, LVLM）은 시각 정보와 언어 정보를 통합하여 다양한 멀티모달 작업에서 우수한 성능을 보이고 있다. 그러나 대규모 비전-언어 모델은 입력 토큰 중 시각 토큰의 비중이 매우 높아 추론 과정에서 상당한 계산 비용을 요구하는 한계를 가진다. 이러한 문제를 해결하기 위해, 최근 연구들은 이미지 이해 작업을 중심으로 불필요하거나 정보량이 낮은 시각 토큰을 제거하는 토큰 프루닝 （token pruning） 기법을 제안해왔다. 하지만 이러한 기존 방법들은 입력 텍스트에 따라 토큰의 중요도가 달라지는 픽셀 그라운딩 （pixel grounding） 작업에서는 효과적으로 동작하지 못하는 한계가 존재한다.

본 석사 학위 논문에서는 대규모 비전-언어 모델에서 흔히 사용되는 시각 인코더인 CLIP 모델에 대한 심층 분석을 통해, 텍스트로 지정되는 픽셀 그라운딩 대상인 참조 대상 영역 （referent region）에 해당하는 시각 토큰이 텍스트 표현과 낮은 유사도를 가지는 시각 유사도 역전 현상을 관찰한다. 본 논문에서는 유사도 역전 현상을 CLIP 모델의 대조 사전 학습과 텍스트 어텐션 편향에서 기인함을 규명하고, 이를 기반으로 픽셀 그라운딩을 위한 효율적인 추론을 수행하는 학습 불필요한 텍스트 기반 토큰 프루닝 기법 （LiteLVLM）을 제안한다. 제안 방법은 CLIP의 시각-텍스트 유사도 순위를 오름차순으로 활용하여, 참조 대상 영역에 해당하는 시각 토큰을 효과적으로 유지하고, 동시에 전역 문맥을 보존하기 위한 토큰을 복원함으로써 전경 （foreground）과 배경 （background）를 명확히 구분할 수 있도록 한다.

제안한 토큰 프루닝 기법의 성능을 검증하기 위해 다양한 토큰 예산 조건에서 실험을 수행한 결과, 기존 방법 대비 5% 이상의 성능 향상을 달성함을 확인하였다. 또한 추가적인 학습이나 미세 조정 （fine-tuning）없이도 기존 성능의 90% 이상을 유지하면서, 추론 속도를 22% 향상시키고 메모리 사용량을 2.3배 감소시키는 효율성을 보였다. 이러한 결과는 제안 방법이 대규모 비전-언어 모델의 계산 효율성을 개선하면서도 픽셀 수준의 정밀한 시각 이해를 유지할 수 있음을 시사한다.

목차 (Table of Contents)

• 1 Introduction 1
• 1.1 The Era of Large Vision-Language Model 1
• 1.2 Issue of Existing Token Pruning Methods 2
• 1.3 Contributions 3
• 1.4 Thesis Outline 5
• 2 Analysis: Revisiting CLIP 6
• 2.1 Preliminaries 6
• 2.2 Visual-Text Similarity Reversal 7
• 2.3 Text Attention Sink 10
• 3 Method 12
• 3.1 Architecture 13
• 3.2 Similarity-aware Visual Token Selection 13
• 3.3 Context-aware Visual Token Recovery 14
• 3.4 Adaptive Token Selection 15
• 4 Experiments 16
• 4.1 Experimental Setup 16
• 4.2 Referring Expression Segmentation 16
• 4.3 Referring Video Object Segmentation 18
• 4.4 Generalization Studies 20
• 4.5 Ablation Study 22
• 4.6 Efficiency Analysis 23
• 4.7 Qualitative Visualization 24
• 5 Conclusion 28
• References 38