Storage-Aware Weight Streaming 기법을 이용한 온디바이스 LLM 추론 최적화 = Storage-Aware Weight Streaming for Faster On-Device LLM Inference

국문 초록 (Abstract)

최근 모바일 기기 및 차량용 인포테인먼트 시스템과 같은 모바일/임베디드 기기 상에서 대규모 언어 모델(Large Language Model, LLM)을 실행하는 온 디바이스(On-Device) LLM 기술이 많이 사용된다. 그러나 LLM의 수 기가바이트(GB)에 달하는 메모리 요구사항은 여전히 임베디드 시스템에서 제약 요소이다. 이러한 메모리 장벽을 극복하기 위해 스토리지를 활용하는 방식이 제안되고 있다. 스토리지를 활용하는 연구들의 주 도전과제는 상대적으로 느린 스토리지의 접근 속도를 개선하는 것에 있다. 스토리지의 접근 속도가 메모리 접근 속도 대비 상대적으로 느려, LLM 추론 과정에서 추론 지연 시간을 증가시키기 때문이다. 이러한 접근 지연은 운영체제의 범용적인 스토리지-메모리 관리 정책에 의존하는 경우 더욱 심화된다. 이에 본 연구는 먼저 운영체제 커널 수준 분석 도구를 활용하여, 스토리지-메모리 관리 정책이 LLM 워크로드의 특성과 구조적으로 부합하지 않으며, 전체 추론 시간의 80% 이상이 I/O 대기 시간으로 소모됨을 확인하였다. 이를 해결하기 위해, 본 논문은 운영체제의 개입을 배제하고 어플리케이션이 데이터 흐름을 주도적으로 제어하는 Storage-Aware Weight Streaming 시스템을 제안한다. 제안 시스템의 특징은 세 가지이다. 첫째, Direct I/O를 적용하여 운영체제의 개입을 배제한다. 둘째, 정적 가중치 I/O 스케줄링을 통해 런타임 오버헤드 없이 사전에 읽어 올 가중치의 순서를 고정한다. 셋째, 이중 버퍼링 기법과 io_uring 기반의 커널 비동기 I/O 인터페이스를 결합하여, 연산-I/O 중첩 파이프라인을 구현을 통해 효율적인 스토리지 I/O를 구현한다. 제안 시스템은 Qualcomm QCS6490(UFS 2.2) 및 QCS8550(UFS 3.1) SoC와 Intel i9-14900HX (NVME 4.0) 환경에서 검증하였으며, 기준 대비 토큰 생성 속도가 최대 3.23배 향상시켰으며, 스토리지 대역폭 활용률을 기존 27.1%에서 84.4%로 개선하였다. 이를 통해 제안 기법이 메모리 제약 환경에서의 LLM 추론 성능 개선에 효과가 있음을 보인다.

다국어 초록 (Multilingual Abstract)

With the expansion of Large Language Models (LLMs) beyond cloud servers to mobile and embedded devices such as smartphones and automotive infotainment systems, the importance of On-Device AI technology is rapidly emerging. However, the massive parameter size of LLMs, reaching several gigabytes (GB), poses a critical constraint on performing LLM inference in embedded systems with limited memory resources. To overcome this memory barrier, a mechanism that stores model weights on large-capacity Flash storage and dynamically loads only the required data into memory during inference is essential. However, the access speed of storage is significantly slower than that of DRAM, causing severe I/O bottlenecks and becoming the primary cause of increased latency during the LLM inference process, which involves frequent data loading.
Through kernel-level profiling, we identified the structural mismatch between the OS’s memory management and the access patterns of LLM workloads. Our measurements indicate that reliance on standard page caching causes I/O blocking, leaving the processor idle for over 80% of the total inference time.
To handle this problem, we introduce a Storage-Aware Weight Streaming architecture. Our approach bypasses kernel overhead via Direct I/O and eliminates runtime uncertainty through static I/O scheduling. Furthermore, it improves resource utilization by concealing I/O time within compute time, achieved by integrating double buffering with the asynchronous I/O based on io_uring.
Experimental validation was conducted on Qualcomm QCS6490 (UFS 2.2) and QCS8550 (UFS 3.1) SoCs, as well as an Intel i9-14900HX (NVMe 4.0) environment. The results demonstrate that our system improves token generation speed by up to 3.23x compared to the baseline. Furthermore, it drastically enhances storage bandwidth utilization, increasing it from 27.1% to 84.4%. These findings confirm that the proposed technique effectively enables high-performance LLM inference in memory-constrained systems.

목차 (Table of Contents)

• 초록 i
• 목차 ii
• 표 목차 iv
• 그림 목차 iv
• 제 1 장 서 론 1
• 제 1 절 연구의 배경 1
• 제 2 절 연구의 내용 3
• 제 3 절 논문의 구성 4
• 제 2 장 기술적 배경 5
• 제 1 절 LLM 응용의 동작 구조 5
• 제 2 절 LLM 추론을 위한 시스템 소프트웨어 스택 7
• 제 3 절 AI 런타임 계층 8
• 제 4 절 OS 계층 11
• 제 5 절 OS 계층의 관측 기법: eBPF 14
• 제 3 장 관련 연구 15
• 제 4 장 Storage I/O 병목 분석 및 시스템 요구사항 도출 19
• 제 1 절 eBPF 기반 커널 수준 계측 도구 19
• 제 2 절 실험 환경 및 메모리 제약 시나리오 26
• 제 3 절 LLM 가중치 접근 패턴과 OS 정책 불일치 분석 28
• 제 4 절 I/O 병목 측정 실험 및 분석 33
• 제 5 절 스토리지 대역폭 활용률 분석 36
• 제 6 절 설계 요구사항 도출 38
• 제 5 장 문제의 공식화 39
• 제 1 절 시스템 모델 39
• 제 2 절 설계 요구사항의 공식화 41
• 제 6 장 Storage-Aware Weight Streaming 시스템 45
• 제 1 절 런타임 사전 단계 45
• 제 2 절 런타임 단계 53
• 제 7 장 성능 평가 57
• 제 1 절 실험 설계 57
• 제 2 절 실험 결과 및 분석 59
• 제 8 장 결 론 68
• 참고문헌 69
• Abstract 74