모바일 환경에서의 LLM 추론을 위한 메모리 효율적인 페이지 관리 기법 = Memory-efficient page management techniques for LLM inference in mobile system|RISS 상세보기

다국어 초록 (Multilingual Abstract)

Large Language Models (LLMs), composed of billions of parameters, demand substantial computational and memory resources and are typically deployed on high-performance servers within data centers. As LLM-based services continue to expand, the fundamental limitations of cloud-based inference have become critical such as privacy concerns, network dependency, and significant latency. To address these issues, on-device LLMs that enable local inference without network dependency have emerged as a promising alternative. However, existing LLM systems, originally designed for server environments, fail to adequately accommodate the strict memory constraints of mobile systems. Therefore, efficient memory management techniques are essential to enable LLM inference in mobile systems.
This paper presents an in-depth analysis of memory bottlenecks during LLM inference on mobile systems and proposes two page-level memory management techniques. Initial KV cache swap(IS) proactively offloads unused KV cache pages to zRAM to secure free memory in advance. Because these unused KV cache pages are highly compressible, this approach effectively reduces memory usage, and the DRAM-resident nature of zRAM allows fast page restoration upon access. Deferred Weight Reclamation(DW) marks weight-associated file pages with a dedicated flag to deprioritize their eviction during LRU traversal. By retaining weight pages in memory longer, this mechanism minimizes storage I/O overhead from weight reloading and improves inference throughput.
Experimental results show that the proposed techniques reduce memory usage by up to 31% compared to the baseline Linux kernel, demonstrating substantial efficiency improvements in memory-constrained mobile environments. Moreover, the proposed methods yield proportional efficiency gains in speculative decoding scenarios with multiple candidate paths, validating their applicability across diverse advanced LLM inference workloads on mobile systems.

번역하기

국문 초록 (Abstract)

거대언어모델(Large Language Model, LLM)의 수십억 개에 달하는 대규모 파라미터로 구성되어 있어 막대한 연산량과 메모리 용량을 요구하며, 이를 충족하기 위해 데이터 센터의 고성능 서버 환경에서 구동된다. 하지만 LLM 서비스가 확산됨에 따라 개인정보 유출의 위험, 네트워크 연결 의존성, 높은 지연시간 등 클라우드 기반 서비스가 지닌 근본적인 문제가 부각되고 있다. 이를 해결하기 위한 대안으로 네트워크 연결 없이 로컬 환경에서 직접 추론 가능한 온디바이스 LLM(On-device LLM)이 새롭게 주목받고 있으나, 서버 환경을 전제로 설계된 기존의 LLM 솔루션들은 모바일과 같은 메모리가 제한적인 환경을 충분히 고려하지 못하고 있다. 따라서, 모바일 환경에서 효율적인 LLM 추론이 가능한 메모리 관리 방법에 대한 연구가 필요하다.
본 논문은 모바일 시스템에서 LLM 추론 시 발생하는 메모리 병목 현상을 분석하고, 이를 해결하기 위한 페이지 기반의 메모리 관리 기법 두 가지를 제안한다. 초기 KV 캐시 스왑 기법(Initial KV Cache Swap)은 아직 사용되지 않은 KV 캐시를 zRAM으로 스왑 아웃하여 선제적으로 가용 메모리를 확보한다. 사용하지 않은 KV 캐시는 높은 압축률을 보이므로 메모리 공간을 효율적으로 절약할 수 있으며, zRAM이 DRAM 공간을 사용하는 물리적 특성상 페이지에 재접근이 발생할 시 빠른 복원이 가능하다. 웨이트 지연 회수 기법(Deferred Weight Reclamation)은 모델 웨이트에 해당하는 파일 페이지에 별도의 플래그를 설정한다. 이후 메모리 부족으로 인해 LRU 리스트를 순회할 때, 웨이트 플래그가 설정된 페이지는 가장 후순위로 회수될 수 있도록 승격시킨다. 이 방법을 통해 웨이트 페이지를 메모리에 최대한 오래 유지함으로써 디스크에서 웨이트를 다시 읽어오는 스토리지 접근을 최소화하고 LLM 추론 성능을 향상시킨다.
본 논문에서 제안한 기법은 기존 리눅스 커널 대비 최대 31%의 메모리 사용량 절감을 달성하였으며, 메모리 경쟁이 심한 모바일 환경에서 7%의 성능 향상을 이끌어 LLM 추론 성능을 효과적으로 최적화하였다. 또한, 추측 디코딩(Speculative Decoding)과 같이 다수의 후보 경로를 유지하는 추론 기법에서 경로의 수에 비례한 메모리 효율성 개선 효과를 보임으로써, 다양한 LLM 추론 기법의 모바일 환경에서 적용 가능성을 입증하였다.

번역하기

거대언어모델(Large Language Model, LLM)의 수십억 개에 달하는 대규모 파라미터로 구성되어 있어 막대한 연산량과 메모리 용량을 요구하며, 이를 충족하기 위해 데이터 센터의 고성능 서버 환경...

목차 (Table of Contents)