Characterization of the impact of migration granularity on GPU unified memory I/O

국문 초록 (Abstract)

GPU 통합 가상 메모리(Unified Virtual Memory, UVM) 시스템에서 메모리 사용량이 물리적 GPU 메모리 용량을 초과하면, 호스트와 GPU 간 I/O 트래픽이 급격히 증가할 수 있다. 본 논문은 페이지 폴트 시 전송되는 데이터 단위인 마이그레이션 그라뉼래리티(migration granularity)가 I/O 효율성에 미치는 영향을 분석한다. 본 연구는 I/O 비효율성의 주요 원인으로 (1) coarse-grained 전송에 따른 과다 페치(overfetching), (2) 한정된 메모리로 인한 반복적인 페이지 교체(스래싱)를 주목한다. 32B에서 64KB까지 다양한 그라뉼래리티와 워크로드를 대상으로 한 트레이스 기반 분석을 통해, 세분화된 마이그레이션이 불필요한 데이터 전송량과 피크 워킹셋 크기(Working Set Size, WSS)를 줄여 전반적인 I/O 트래픽을 낮출 수 있음을 보여준다. 세밀한 마이그레이션은 응용 프로그램이나 메모리 관리 로직을 수정하지 않고도 최대 31%의 I/O 트래픽 감소 효과를 달성하며, 특히 그래프 분석 같은 불규칙한 메모리 접근 패턴에서 큰 효과를 보인다. 이러한 결과는 UVM 기반 GPU 시스템의 메모리 효율성 최적화에서 마이그레이션 그라뉼래리티를 중요한 튜닝 파라미터로 고려할 필요가 있음을 시사한다.

다국어 초록 (Multilingual Abstract)

In GPU Unified Virtual Memory (UVM) systems, oversubscription—when memory usage exceeds physical GPU capacity—can lead to significant I/O traffic between host and device. This paper examines how migration granularity, the unit size of data transferred during page faults, influences I/O efficiency. We focus on two major inefficiencies: overfetching, where coarse-grained transfers bring in unused data, and thrashing, where limited memory causes repeated migrations. Using trace-based analysis of diverse workloads and granularities from 32B to 64KB, we show that finer granularity reduces both the volume of unused data and the peak working set size (WSS), lowering overall traffic. Fine-grained migration achieves up to 31% traffic reduction without modifying applications or memory management logic. The benefits are most pronounced in workloads with irregular access patterns, such as graph analytics. These findings suggest that migration granularity is an important parameter to consider when optimizing memory efficiency in UVM-based GPU systems.

목차 (Table of Contents)

• 1. Introduction 1
• 2. Background 4
• 3. Motivation 12
• 4. Methodology 19
• 5. Observation 25
• 6. Conclusion and Future Work 37
• References 41
• Appendix 45
• Korean Abstract 46