MultiDNN execution framework : an execution framework for concurrent inference of multiple deep neural networks on edge devices

국문 초록 (Abstract)

엣지 AI 애플리케이션이 빠르게 증가함에 따라, 엣지 장치에서 딥러닝 모델(DNN)을 효율적으로 실행할 수 있는 기술에 대한 수요가 높아지고 있다. 그러나 엣지 장치는 한정된 연산 자원을 갖추고 있으며 CPU, GPU, NPU와 같이 서로 다른 유형의 프로세서를 혼합해 사용하기 때문에 여러 모델을 동시에 실행하는 것은 쉽지 않은 문제이다. 기존의 단일 모델 최적화 방식은 이러한 이기종 하드웨어의 잠재력을 충분히 활용하기 어렵다. 따라서 다양한 엣지 장치에서 여러 DNN 워크로드를 효율적으로 관리하고 스케줄링 할 수 있는 통합 프레임워크가 필요하다.
이러한 요구를 해결하기 위해 본 논문은 이기종 엣지 환경에서 여러 딥러닝 모델을 효율적으로 실행할 수 있는 MultiDNN Execution Framework를 제안한다. 이 프레임워크는 다양한 종류의 PU로 확장 가능하지만, 특히 엣지 AI 워크로드에서 중요성이 높아지고 있는 NPU 기반 시스템에 최적화되어 있다.
프레임워크는 모델을 연산 그래프 수준에서 분석하고, 병렬 실행이 가능한 단위로 분할한 뒤 단일 또는 다중 엣지 장치에서 동시 실행을 지원한다. 다중 엣지 장치 환경에서는 계층적 스케줄링과 리소스 관리 전략을 적용해 여러 장치 간에 모델을 효율적으로 분배한다.
제안된 프레임워크는 크게 두 개의 주요 구성 요소로 이루어진다. Deep Learning Partitioner는 단일 edge 디바이스에서 딥러닝 모델의 연산 그래프를 분석하고, 연산자 수준의 스케줄링을 수행한 뒤, 모델을 독립적인 서브그래프로 분할한다. 그리고 컴파일러를 통해 각 파티션에 대해 최적화된 실행 계획과 코드를 생성하여 분산 병렬 처리를 가능하게 한다
다른 구성 요소인 MultiDNN Runtime Platform은 여러 edge 디바이스에 걸쳐 다수의 딥러닝 모델을 효율적으로 조정하고 실행한다. 이 플랫폼은 Hierarchical Dispatcher와 Hierarchical Scheduler로 구성된다. Dispatcher는 deep learning partitioner가 생성한 정보를 기반으로 각 모델을 여러 파티션으로 분할하고, 이를 태스크로 변환한 뒤 적절한 PU에 할당한다. 반면 Scheduler는 edge 디바이스 전반에 걸쳐 실행 순서와 태스크 우선순위를 정의하는 글로벌 스케줄링을 수행하여 성능과 자원 활용을 최적화한다. 실행 정책과 자원 관리를 명확히 분리함으로써 MultiDNN Runtime Platform은 모듈성과 유지보수성을 향상시킨다.
제안된 프레임워크는 CPU와 NPU를 포함한 멀티 보드 FPGA 기반 엣지 테스트베드를 포함해, 동종 및 이기종 PU 환경에서 구현 및 검증되었다. 실험 결과, 여러 모델을 동시에 실행하면서 연산 부하를 효율적으로 분산할 수 있음을 확인했다. NPU-Preferred 방식처럼 단순히 NPU 선호 연산을 NPU에 직접 할당하는 접근법 대비 약 3.5배의 성능 향상을 달성했으며, 다중 NPU를 활용할 경우 단일 NPU 대비 20% 이상 높은 성능을 보였다.
따라서 본 논문은 이기종 엣지 장치에서 여러 딥러닝 모델을 실행하기 위한 체계적이고 실용적인 해법을 제시하며, 다양한 엣지 AI 환경에서 적용 가능한 통합 프레임워크를 제공한다.

다국어 초록 (Multilingual Abstract)

With the rapid growth of edge AI applications, there is a growing need to run deep neural networks (DNNs) efficiently on edge devices. However, running multiple models concurrently is challenging because edge devices have limited computing power and use different types of processors such as CPUs, GPUs, and NPUs. Existing methods that focus on optimizing a single model cannot fully use the potential of such heterogeneous hardware. Therefore, a unified framework is needed to manage and schedule multiple DNN workloads efficiently across various edge devices.
To address this need, this dissertation proposes the MultiDNN Execution Framework, which enables efficient and parallel execution of multiple deep learning models on heterogeneous edge environments. Although it can be extended to various types of PUs, it is specifically optimized for NPU-based systems, reflecting their growing importance in edge AI workloads.
It analyzes models at the computational graph level, partitions them into parallelizable execution units, and supports concurrent execution on both single and multiple edge devices. In multiple edge device environments, it employs hierarchical scheduling and resource management strategies to efficiently distribute models across multiple edge devices.
It consists of two primary components. The Deep Learning Partitioner analyzes the computational graph of a deep learning model on a single edge device, performs operator-level scheduling, divides the model into independent subgraphs, and, through the compiler, generates optimized execution plans and code for each partition to enable distributed parallel processing.
The other component, the MultiDNN Runtime Platform, coordinates and executes multiple deep learning models efficiently across multiple edge devices. It comprises a Hierarchical Dispatcher and a Hierarchical Scheduler. The former divides each model into multiple partitions using information from the deep learning partitioner, converts them into tasks, and assigns them to suitable PUs, while the latter performs global scheduling by defining the execution order and task priorities across edge devices to optimize performance and resource utilization. By clearly separating execution policy from resource control, the MultiDNN Runtime Platform enhances modularity and maintainability.
The proposed framework has been implemented and validated in both homogeneous and heterogeneous PU environments, including a multi-board FPGA-based edge testbed with CPU and NPU. Experimental results demonstrate its ability to concurrently execute multiple models while efficiently distributing computational workloads. Compared to a simple approach that assigns NPU-preferred operations directly to the NPU, it achieved approximately 3.5× performance improvement through optimal partitioning and scheduling. Furthermore, when utilizing multiple NPUs, it achieved over 20% higher performance compared to single-NPU configurations.
Therefore, this dissertation provides a systematic and practical solution for executing multiple deep learning models on heterogeneous edge devices, offering a unified framework applicable to a wide range of edge AI environments.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• Chapter 2. Motivation 5
• Chapter 3. Related work 11
• 3.1 Deep Learning Compiler 11
• 3.2 Deep Learning Framework 13
• 3.3 Concurrent Inference Techniques 15
• 3.4 MultiDNN Execution on Edge Devices 16
• 3.5 DAG-based Job Scheduling 18
• Chapter 4. MultiDNN Execution Framework 20
• 4.1 Overview 20
• 4.2 Design and implementation 23
• 4.2.1 Deep Learning Partitioner 23
• 4.2.2 MultiDNN Runtime Platform 34
• 4.2.3 Dispatcher 40
• 4.2.4 Scheduler 50
• Chapter 5. Experiments 61
• 5.1 Deep Learning Partitioner (Single Board Single NPU) 61
• 5.2 Deep Learning Partitioner (Single Board Multiple NPUs) 69
• 5.3 MultiDNN Runtime Platform (Single Board Multiple NPUs) 81
• 5.4 MultiDNN Runtime Platform (Multi Board Multiple NPUs) 95
• 5.5 MultiDNN Runtime Platform (Multiple Homogeneous NPUs) 101
• Chapter 6. Conclusion and Future Work 108
• References 112
• Korean Abstract 120