PiLo: 부하 분산을 고려한 edge NPU 지연시간 예측기 설계 = PiLo: A latency predictor with load balancing for edge NPU

국문 초록 (Abstract)

최근 인공지능이 여러 분야에 적용되면서 edge artificial intelligence (edge AI) 역시 스마트홈, 자율주행차 등 다양한 환경에서 주목 받는 핵심 기술로 자리매김하고 있다. 이러한 응용 환경에서는 실시간성이 중요하며, edge AI 환경에서 지연시간이 성능 평가의 핵심 지표로 활용된다. 하지만 직접적인 실측 방법은 막대한 시간과 자원을 소모하기 때문에, 여러 딥러닝 네트워크의 성능을 비교하기 위해 효율적이고 정확한 지연시간 예측기의 필요성이 커지고 있다.
기존 지연시간 예측 연구를 멀티코어 neural processing unit (NPU)에 적용할 때 파이프라인 중첩과 부하 분산과 같은 하드웨어 최적화 특성을 충분히 반영하지 못하면 예측 정확도가 저하되는 한계가 있다. 따라서 본 연구는 이러한 한계를 극복하기 위해 NPU의 부하 분산 동작 특성을 고려한 지연시간 예측기 PiLo를 제안한다. 제안하는 예측기는 2단계 구조의 머신러닝 기반 회귀 모델로 예측하고 있다. Stage 1에서는 레이어 단위 순수 실행 지연시간을 예측하고, stage 2에서는 stage 1의 예측값을 활용하여 파이프라인으로 중첩되지 않는 노출 시간을 모델링함으로써 모델 전체 지연시간를 추정한다. 이를 통해 edge NPU의 특성을 반영하면서 기존 방식의 한계를 보완한다.
예측기 성능은 Hailo-8 NPU를 대상으로 CNN 계열 4개의 모델군 MobileNetV1, ResNet50, NASBench-201, SqueezeNet에 적용하여 확인하였다. 기존 방법 대비 평균절대퍼센트오차(MAPE)는 21.07%에서 7.30%로, 13.77 %p 감소하였고, ACC@10%는 49.81%에서 74.44%로, 24.63%p 향상되었다. 특히 ResNet50과 SqueezeNet 모델군에서 ACC@10%가 각각 86.06%, 95.22%까지 향상되어 높은 정확도를 보였으며, NasBench-201에서는 ACC@10%의 상승폭이 57.95%p로 가장 크게 개선되었다.
본 연구는 edge NPU의 부하 분산 특성을 고려하는 지연시간 예측기를 제안하여 예측 정확도를 유의미하게 개선하였다. 이를 통해 edge NPU 환경에서의 모델 탐색과 최적화 과정에서 효율성과 신뢰도를 확보할 수 있음을 보였다.

다국어 초록 (Multilingual Abstract)

Edge artificial intelligence(edge AI) has recently emerged as a transformative paradigm for applications such as smart homes and autonomous vehicles. In these environments, real-time performance is critical and latency is a key metric for accurate and efficient benchmarking across deep learning models. However, obtaining the latency through direct hardware measurements is costly and requires complex execution procedures. Consequently a latency predictor is essential for accurate and efficient benchmarking across deep learning models.
Prior latency prediction approaches have proxy-based, lookup table (LUT) based, and machine learning (ML) based method. When applied to a multicore neural processing unit (NPU), the existing prediction methods do not fully capture execution characteristics such as pipeline overlap and load balancing. To overcome these limitations, we proposes PiLo, a two-stage ML-based latency predictor that explicitly models load-balancing behavior in NPU. Stage 1 predicts the pure layer execution time, while Stage 2 estimates end-to-end model latency by incorporating stage 1 output and modeling the exposed time that cannot be overlapped by pipeline. This design enables accurate latency estimation.
Evaluations on the Hailo-8 NPU using CNN-based models—MobileNetV1, ResNet50, NASBench-201, and SqueezeNet—show that the proposed method achieves 13.77 %p reduction in Mean Absolute Percentage Error (MAPE) and a 24.63 % improvement in ACC@10% over the baseline predictor. In particular, ResNet50 and SqueezeNet achieve high accuracies of 86.06% and 95.22% in ACC@10%, while NASBench-201 exhibits the largest performance gain with a 57.95%p improvement.
Overall, PiLo predictor faithfully captures multicore NPU execution, contributing to more efficient and reliable model exploration and optimization in edge AI environments.

목차 (Table of Contents)

• 제 1 장 서론 1
• 제 1 절 연구 배경 및 필요성 1
• 제 2 장 관련 연구 5
• 제 1 절 ML기반 지연시간 예측기 5
• 2.1.1 nn-Meter 5
• 2.1.2 2-stage MLP 9
• 제 2 절 파이프라인 및 부하 분산 11
• 제 3 장 PiLo 지연시간 예측기 16
• 제 1 절 PiLo 예측기 개요 16
• 제 2 절 Stage1 : 레이어 순수 실행시간 예측기 18
• 제 3 절 Stage2 : 모델 지연시간 예측기 20
• 제 4 장 연구 결과 23
• 제 1 절 실험 환경 및 dataset 구축 23
• 4.1.1 실험 환경 23
• 4.1.2 데이터셋 24
• 4.1.3 예측기 모델 24
• 4.1.4 평가 지표 25
• 제 2 절 기존 대비 성능 비교 27
• 4.2.1 출력 변경에 따른 성능 변화 27
• 4.2.2 입력 특징 확장에 따른 성능 변화 29
• 4.2.3 제안 기법 PiLo와의 성능 비교 31
• 제 3 절 분석 및 고찰 34
• 제 5 장 결론 37
• 제 1 절 연구 요약 37
• 제 2 절 연구 성과 및 기대효과 38
• 제 3 절 후속 연구 제언 40
• 참고 문헌 42
• Abstract 48