Efficient Serving of Large Language Models with Adaptive Speculative Decoding = 적응형 추측적 디코딩을 이용한 거대 언어 모델의 효율적 서빙

다국어 초록 (Multilingual Abstract)

Speculative decoding accelerates generative inference of large language models (LLMs) by first drafting multiple candidate tokens using a small language model and then verifying them in parallel with the target model in a single decoding iteration. While state-of-the-art tree-based speculative decoding methods help improve the throughput of generative inference over non-speculative inference (i.e., autoregressive decoding), deploying speculative decoding in LLM serving systems often leads to suboptimal performance gains due to the complex interplay between the performance of speculative decoding and dynamically changing serving conditions.
Our analysis shows that the optimal tree configuration that maximizes the performance varies in response to four main serving conditions: system load, request characteristics, models, and GPUs. Based on the analysis, we introduce AdaTree, a plug-in component for LLM serving systems that dynamically adjusts tree configurations in accordance with the fluctuations in the serving environment. AdaTree predicts model execution time and acceptance length for different tree configurations and selects the one that maximizes speculative decoding efficiency. It employs decision trees to capture the non-linear relationship between the tree configuration and model execution time. We show that AdaTree consistently outperforms chain-based and static tree-based speculative decoding across diverse serving conditions.

국문 초록 (Abstract)

추측적 디코딩은 소형 언어 모델을 사용하여 여러 후보 토큰을 먼저 생성한 다음, 타겟 모델이 한 번의 디코딩 반복에서 병렬로 이들을 검증함으로써 거대 언어 모델 (LLM)의 생성형 추론을 가속한다. 최신 연구들은 토큰 트리 기반의 추측적 디코딩을 제안하여 비(非)추측적 디코딩 (자기회기적 디코딩)에 비해 개선된 생성형 추론 처리량을 달성한다. 하지만, 추측적 디코딩 성능과 동적으로 바뀌는 서빙 환경 간의 복잡한 상호작용으로 인해, LLM 서빙 시스템에 추측적 디코딩을 배포하여 최선의 성능을 달성하는 데에 어려움이 있다.
본 연구에서는 추측적 디코딩의 성능을 극대화시키는 최적의 트리 구성이 시스템 부하, 요청 특성, 모델, GPU의 네 가지 서빙 조건에 따라 달라짐을 분석한다. 이러한 분석을 바탕으로, 본 연구는 서빙 환경의 변동에 따라 트리 구성을 동적으로 조정하는 LLM 서빙 시스템용 플러그인 모듈인 AdaTree를 제안한다. AdaTree는 다양한 트리 구성에 대해 모델 실행 시간과 수용 길이를 예측하고, 이 중 추측적 디
코딩의 효율성을 극대화시키는 구성을 선택한다. 트리 구성과 모델 실행 시간 간의 비선형적 실행 시간 관계를 모델링하기 위해 의사 결정 나무를 사용한다. 본 연구는 다양한 서빙 조건 하에서 AdaTree가 체인 기반 및 정적 트리 구성 기반의 추측적 디코딩과 비교하여 일관되게 성능 향상을 달성함을 보여준다.

목차 (Table of Contents)

• 1 Introduction 1
• 2 Background 3
• 2.1 Transformer-based LLM 3
• 2.2 Generative LLM Inference 4
• 2.3 Speculative Decoding 4
• 2.4 Tree-based Speculative Decoding 5
• 2.5 LLM Serving Systems 6
• 3 Characterization of Tree-based Speculative Decoding 7
• 3.1 Optimal Tree Size Varies with Request Rates and GPUs 7
• 3.1.1 Optimal Tree Size Varies with Request Rates 7
• 3.1.2 Optimal Tree Size Varies with GPUs 10
• 3.2 Optimal Tree Depth Varies with Request Characteristics and Models 11
• 3.2.1 Optimal Tree Depth Varies with Request Characteristics 11
• 3.2.2 Optimal Tree Depth Varies with Models 12
• 4 AdaTree: A Plug-in Component for Adaptive Speculative Decoding 14
• 4.1 Performance Modeling 14
• 4.1.1 Optimization Objective 14
• 4.1.2 Estimated Acceptance Length 15
• 4.1.3 Estimated Execution Time using XGBoost 17
• 4.2 Integration of Performance Estimator into the Generative LLM Inference Pipeline 20
• 4.2.1 Execution Flow of AdaTree 21
• 4.2.2 A Walk-Through Example 21
• 4.3 Implementation 22
• 4.3.1 LLM Serving Framework 22
• 4.3.2 Runtime and Execution Overhead of AdaTree 23
• 4.3.3 Tree Attention 24
• 5 Evaluation 26
• 5.1 Experimental Setup 26
• 5.1.1 Models 26
• 5.1.2 Hardware Platforms 26
• 5.1.3 Datasets 27
• 5.1.4 Baseline Designs 27
• 5.2 Main Results 28
• 5.2.1 Performance Comparison with Varying System Load 28
• 5.2.2 Performance Comparison with Varying GPUs 29
• 5.2.3 Performance Comparison with Varying Request Characteristics 30
• 5.2.4 Performance Comparison with Varying Models 33
• 5.3 Additional Results 34
• 5.3.1 Extension to a Draft Model with Enhanced Output Quality 34
• 5.3.2 Effect of Prediction Accuracy of the Cost Model on the End-to-End Performance 35
• 6 Conclusion 37
• Bibliography 38
• Abstract (In Korean) 43