이기종 멀티코어 CPU에서 프로파일 기반 딥 러닝 연산 최적화 기법 = Profile-based Optimization for Deep Learningon Heterogeneous Multi-core CPUs

다국어 초록 (Multilingual Abstract)

Recently, there has been a growing demand to apply deep learning in embedded environments. In constrained embedded environments, heterogeneous multicore CPU architectures like Arm's big.LITTLE are widely utilized to efficiently carry out deep learning computations. Although Arm provides Arm Compute Library (ACL) for optimal deep learning operations, it does not fully leverage the potential of hardwares with the big.LITTLE structure. This paper proposes a profile-based search method for automatically determining the optimal execution kernel and schedule for each hardware. Experiments were conducted on Tinker Edge R, Odroid N+, and Snapdragon 865 HDK boards using AlexNet, VGG16, MobileNetV2, and GoogleNet models. In all cases, the proposed method improved performance up to 266% compared to existing methods. Through the results of this research, we expect to enable cost-effective, low-power, and high-performance execution of deep learning in embedded devices.

국문 초록 (Abstract)

최근 임베디드 환경에서 딥 러닝을 적용하고자 하는 요구가 증가하고 있다. 임베디드와 같은 제한적인 환경에서 딥 러닝 연산을 효율적으로 수행하기 위해서 Arm의 big.LITTLE과 같은 이기종 멀티코어 CPU 아키텍처가 널리 활용되고 있다. Arm은 딥 러닝 연산을 최적으로 수행하기 위해 Arm Compute Library(ACL)를 제공하고 있지만, big.LITTLE 구조를 가진 하드웨어의 잠재력을 충분히 활용하지는 못하고 있다. 본 논문은 각 하드웨어에 최적인 실행 커널과 스케줄을 자동으로 결정하기 위한 프로파일 기반 탐색 방법을 제안한다. 실험은 Tinker Edge R, Odroid N+, Snapdragon 865 HDK 보드에서 AlexNet, VGG16, MobileNetV2, GoogleNet 모델을 대상으로 진행하였으며, 모든 경우에서 제안된 방법이 기존의 방법보다 최대 266% 성능 향상을 보임을 확인하였다. 본 연구의 결과를 통해 임베디드 기기에서 저비용, 저전력, 고성능의 딥 러닝 수행이 가능할 것으로 기대한다.