Multi-Stage Context Pruning for GUI Agents

다국어 초록 (Multilingual Abstract)

Graphical user interface （GUI） agents follows user instructions by observing screenshots and selecting actions such as clicking, typing, or scrolling. They are commonly based on Transformer architectures that combine visual tokens from screenshots with textual tokens from instructions to predict the next action. The main efficiency challenge arises in multi-step tasks, where a goal requires a sequence of GUI operations instead of one isolated action. Such tasks require the model to remember prior screenshots, previous actions, producing long multimodal contexts and increases inference cost during both prefilling and key- value （KV） cache decoding. This thesis addresses the efficiency problem with a multi-stage context pruning framework for GUI agent inference. The method first removes less important historical screenshot blocks before exact prefilling using a Taylor-based importance score. It then applies token-level pruning and hybrid decoding to reduce decode-time KV-cache cost while preserving action- relevant history. Experiments on AGENTNETBENCH and OSWORLD show that the framework maintains performance under compressed KV-cache budgets. Specifically, on AGENTNETBENCH, even at only 20% KV retention, it achieves 78.3% step success with Qwen3VL 8B and 57.2% with EvoCUA 8B, substantially preserving action quality under severe compression. As the budget increases to 40% and 60%, performance rises to 81.2% and 82.0% for Qwen3VL 8B, and to 63.6% and 64.8% for EvoCUA 8B, approaching or slightly exceeding full-cache performance at higher retention. These results indicate that GUI agent contexts should be compressed according to interaction structure rather than treated as flat token sequences.

국문 초록 (Abstract)

그래픽 사용자 인터페이스（GUI） 에이전트는 스크린샷을 관찰하고 클릭, 입력, 스크롤과 같은 동작을 선택함으로써 사용자의 지시를 수행한다. 이러한 에이전트는 일반적으로 스크린샷에서 얻은 시각 토큰과 사용자 지시문의 텍스트 토큰을 결합하여 다음 동작을 예측하는 트랜스포머 아키텍처를 기반으로 한다. 주요 효율성 문제는 단일 동작만으로 끝나는 작업이 아니라, 목표 달성을 위해 일련의 GUI 조작이 필요한 다단계 작업에서 발생한다. 이러한 작업에서는 모델이 이전 스크린샷과 과거 동작을 기억해야 하므로 긴 멀티모달 문맥이 생성되며, 이로 인해 프리필링 단계와 키-값 캐시 디코딩 단계 모두에서 추론 비용이 증가한다. 본 논문은 GUI 에이전트 추론의 효율성 문제를 해결하기 위해 다단계 문맥 가지치기 프레임워크를 제안한다. 제안 방법은 먼저 테일러 기반 중요도 점수를 활용하여 본격적인 프리필링을 수행하기 전에 상대적으로 중요도가 낮은 과거 스크린샷 블록을 제거한다. 이후 토큰 수준의 가지치기와 하이브리드 디코딩을 적용하여, 동작 예측에 필요한 과거 상호작용 정보를 보존하면서도 디코딩 시점의 키-값 캐시 비용을 줄인다. AgentNetBench와 OSWorld에서 수행한 실험 결과, 제안 프레임워크는 압축된 키-값 캐시에서도 성능을 유지함을 보였다. AgentNetBench에서 키-값 캐시를 20%만 유지한 경우에도 Qwen3VL 8B는 78.3%, EvoCUA 8B는 57.2%의 단계 성공률을 달성하였으며, 이는 강한 압축 조건에서도 행동 품질이 상당히 유지됨을 보여준다. 또한 캐시 유지 비율을 40%와 60%로 증가시켰을 때, Qwen3VL 8B는 각각 81.2%와 82.0%, EvoCUA 8B는 각각 63.6%와 64.8%의 단계 성공률을 달성하였으며, 이는 전체 캐시를 사용하는 경우와 동등하거나 약간 더 높은 성능이다. 이러한 결과는 GUI 에이전트의 문맥을 단순한 평면적 토큰 시퀀스로 취급하기보다, 상호작용 구조에 따라 압축해야 함을 시사한다.

목차 (Table of Contents)

• 1 Introduction 1
• 1.1 Background 1
• 1.2 Motivations 3
• 1.3 Contributions 7
• 1.4 Thesis Outline 8
• 2 Preliminaries 9
• 2.1 Notation 9
• 2.2 Transformer Model 17
• 2.3 Transformer Attention 19
• 2.4 Prefilling and Decoding in Autoregressive Inference 21
• 2.5 Key-Value Cache in Vision-Language Models 24
• 2.6 Eviction Loss 25
• 3 Related Work 27
• 3.1 Context Pruning in LLMs and VLMs 27
• 3.2 Context Pruning in GUI Agents 28
• 4 Methodology 31
• 4.1 Problem Formulation 31
• 4.2 Overview of the Proposed Framework 32
• 4.3 Stage 1: Step-Level Pruning 35
• 4.4 Stage 2: Token-Level Pruning and Hybrid Decoding 45
• 4.5 Complexity Analysis 49
• 5 Experimental Results and Discussion 53
• 5.1 Benchmarks 53
• 5.2 Metrics 54
• 5.3 Models 54
• 5.4 Baselines 55
• 5.5 Quantitative Results 56
• 5.6 Qualitative Results 62
• 5.7 Wall-Time and FLOPs Analysis 65
• 5.8 Hyperparameter Settings 69
• 5.9 Ablation Study 71
• 5.10 Performance of Different Step Pruning Approaches 72
• 5.11 Performance of Scoring Approximation and Pruning Scope 74
• 5.12 Performance with Varying Numbers of Screenshots 75
• 5.13 Discussion and Failure Cases 77
• 5.14 Visualization of Multi-Stage Pruning 80
• 6 Conclusion and Future Work 87
• 6.1 Conclusion 87
• 6.2 Future Work 89