다중 DNN 모델 벤치마킹을 위한 MLPerf = MLPerf for benchmarking multiple DNN models

국문 초록 (Abstract)

임베디드 시스템부터 서버에 이르기까지 다양한 딥러닝 모델들을 효율적으로 실행시키기 위한 하드웨어 및 소프트웨어 기술들이 발전되고 있다. 나아가 사용자들의 다양한 요구사항과 인식 정확도 향상을 위하여 여러 개의 딥러닝 모델들이 CPU나 메모리와 같은 시스템 자원들을 서로 경합하는 형태로 실행된다. 이러한 딥러닝 모델 실행 장치들을 객관적으로 평가하기 위하여 MLPerf가 개발되었다. 하지만 현재의 MLPerf는 직렬화된 방식으로 DNN 모델을 실행시켜 여러 개의 DNN 모델이 실행되는 실제 환경을 반영하지 못한다. 본 논문에서는 멀티 쓰레딩 기반 쿼리 병렬화를 통해 여러 DNN들의 동시 실행 요구를 가능하게 하고, 대상 시스템에서도 실제 환경과 유사하게 여러 개의 DNN 모델이 실행될 수 있도록 MLPerf를 개선하였다. 실험 결과 기존 대비 약 2배 이상의 쿼리 처리 성능을 보여 실제 실행 환경과 유사하게 벤치마킹함을 알 수 있었다.

다국어 초록 (Multilingual Abstract)

Hardware and software technologies are being developed to efficiently run various deep learning models from embedded systems to servers. Moreover, multiple deep learning models compete for system resources such as CPU and memory to meet the diverse needs of users and improve recognition accuracy. MLPerf was developed to objectively evaluate these deep learning model execution devices. However, the current MLPerf executes DNN models in a serialized manner, which does not reflect the real-world environment where multiple DNN models are running. In this paper, we improve MLPerf to enable the simultaneous execution needs of multiple DNNs through multi-threading-based query parallelization, and to enable multiple DNN models to be executed on the target system similar to the real environment. The experimental results show that the query processing performance is about two times higher than the existing one, which is similar to the actual execution environment.