오버헤드 최소화를 통한 임베디드 GPU 환경에서 멀티 DNN 추론 성능 향상

임철순(Cheolsun Lim),김명선(Myungsun Kim) 대한전자공학회 2021 전자공학회논문지 Vol.58 No.10

기존 임베디드 시스템에서는 DNN 연산을 전적으로 서버 시스템에 의존했었지만 임베디드 GPU의 성능 향상으로 임베디드 시스템 자체적으로 DNN 연산을 수행할 수 있게 되었다. 따라서 클라우드에 의존해서 DNN 연산을 수행하던 무인항공기, 스마트 시티, 자율주행 자동차 등의 시스템들이 DNN을 시스템 내부 자원만으로 실행하는 능력이 생겼다. 특히 자율주행 자동차의 경우 여러 개의 카메라와 센서들로부터 입력되는 다양한 데이터는 영상인식 및 차선 감지 등의 응용에 전달된다. 이후 각각의 응용 들은 여러 종류의 DNN을 사용하여 이 데이터를 처리한다. 여러 개의 DNN을 사용하기 위해서는 각 DNN을 프로세스 또는 쓰레드에 할당하여 일괄적으로 실행해야 하고 실행하는 환경에 따라 전체 실행시간에 많은 차이가 있다. 본 논문에서는 첫 번째로 멀티 컨텍스트 환경과 싱글 컨텍스트 환경에서 여러 개의 DNN을 실행될 때 각 환경에서 발생하는 오버헤드를 분석한다. 두 번째로 임베디드 GPU 시스템에서 발생할 수 있는 CPU와 GPU 사이의 메모리 복사 문제와 이와 관련된 캐시 이슈에 대하여 분석한다. 마지막으로 분석된 문제를 해결하고 오버헤드를 최소화 할 수 있는 프레임워크를 제안한다. 제안된 프레임워크를 상용 보드에 적용 후 실험한 결과 멀티 컨텍스트 환경 대비 최대 40.8%의 실행시간이 감소하였다. In traditional embedded systems, DNN operations were entirely dependent on server systems, but improved performance of embedded GPUs allowed the embedded system to perform DNN operations on its own. Thus, systems such as unmanned aerial vehicles, smart cities, and self-driving cars, which relied on the cloud to perform DNN operations, have the ability to run DNN models only with internal resources. Especially for self-driving cars, various data input from multiple cameras and sensors is transmitted to applications such as image recognition and lane detection. Subsequently, each application uses several kinds of DNNs to process the data. To use multiple DNNs, each DNN must be allocated to a process or a thread to run in batches, and there are many differences in overall execution time depending on the environment in which it runs. In this paper, we first analyze the overhead that occurs in each environment when multiple DNNs are executed in a multi-context environment and a single-context environment. Secondly, we analyze the memory copy problem between CPU and GPU that can occur in embedded GPU systems and the cache issue associated with it. Finally, we propose a framework that can solve the analyzed problem and minimize overhead. After applying the proposed framework to a commercial board, experiments result in up to 40.8% reduction in running time compared to the multi-context environment.

터커 분해 및 은닉층 병렬처리를 통한 임베디드 시스템의 다중 DNN 가속화 기법

김지민,김인모,김명선 한국정보통신학회 2022 한국정보통신학회논문지 Vol.26 No.6

With the development of deep learning technology, there are many cases of using DNNs in embedded systems such as unmanned vehicles, drones, and robotics. Typically, in the case of an autonomous driving system, it is crucial to run several DNNs which have high accuracy results and large computation amount at the same time. However, running multiple DNNs simultaneously in an embedded system with relatively low performance increases the time required for the inference. This phenomenon may cause a problem of performing an abnormal function because the operation according to the inference result is not performed in time. To solve this problem, the solution proposed in this paper first reduces the computation by applying the Tucker decomposition to DNN models with big computation amount, and then, make DNN models run in parallel as much as possible in the unit of hidden layer inside the GPU. The experimental result shows that the DNN inference time decreases by up to 75.6% compared to the case before applying the proposed technique. 딥러닝 기술의 발달로 무인 자동차, 드론, 로봇 등의 임베디드 시스템 분야에서 DNN을 활용하는 사례가 많아지고 있다. 대표적으로 자율주행 시스템의 경우 정확도가 높고 연산량이 큰 몇개의 DNN들을 동시에 수행하는 것이 필수적이다. 하지만 상대적으로 낮은 성능을 갖는 임베디드 환경에서 다수의 DNN을 동시에 수행하면 추론에 걸리는 시간이 길어진다. 이러한 현상은 추론 결과에 따른 동작이 제때 이루어지지 않아 비정상적인 기능을 수행하는 문제를 발생시킬 수 있다. 이를 해결하기 위하여 본 논문에서 제안한 솔루션은 먼저 연산량이 큰 DNN에 터커 분해 기법을 적용하여 연산량을 감소시킨다. 그다음으로 DNN 모델들을 GPU 내부에서 은닉층 단위로 최대한 병렬적으로 수행될 수 있게 한다. 실험 결과 DNN의 추론 시간이 제안된 기법을 적용하기 전 대비 최대 75.6% 감소하였다.

Edge TPU에서의 실시간성 보장을 위한 실시간 DNN 프레임워크

한창헌,오상은 한국차세대컴퓨팅학회 2022 한국차세대컴퓨팅학회 논문지 Vol.18 No.5

As deep neural networks (DNNs) have been recently deployed in many safety-critical real-time embedded systems, it has become essential to meet timing requirements that DNN inference tasks must complete their execution within given deadlines. To this end, most previous studies focus on utilizing GPU or CPU in edge computing environments to support real-time DNN tasks. Meanwhile, although Edge TPU is regarded as a next-generation AI processor for edge computing, there is a lack of studies on real-time guarantee for Edge TPU. Thus, this paper presents a novel real-time DNN framework that can satisfy the timing requirements of multiple DNN inference tasks in edge TPU environments. This framework provides 1) a cache memory allocation technique that considers the deadline of each task and 2) a scheduling technique based on model segmentation to reduce priority inversion phenomena. We evaluated the performance of our framework by using Google Coral dev board, an embedded board equipped with Edge TPU, and several image classification models. The experiment result shows that our framework can provide higher schedulability by 37% than the existing Edge TPU system. 최근 심층신경망 (DNN, deep neural network) 알고리즘이 많은 안전필수 실시간 시스템에 적용되기 시작하면서 DNN 추론 태스크의 실행이 주어진 마감 시간 안에 완료되어야 하는 타이밍 요구사항이 중요해졌다. 이를 위해 대부분의 선행 연구들은 DNN의 실시간성을 보장하기 위해 엣지 컴퓨팅 환경에서 GPU나 CPU와 같은 컴퓨팅 자원을 활용하는 것에 초점을 맞춘다. 이에 반면, Edge TPU는 엣지 컴퓨팅을 위한 차세대 인공지능 프로세서로 평가받고 있음에도 불구하고, Edge TPU를 위한 실시간성 보장 연구는 전무한 실정이다. 따라서 본 논문에서는 Edge TPU 환경에서 여러 DNN 추론 태스크들의 타이밍 요구사항을 만족시키는 새로운 실시간 DNN 프레임워크를 제안한다. 이 프레임워크에서는 1) 태스크 마감 시간을 고려하여 SRAM 캐시메모리를 할당하는 기법과 2) 우선순위 역전 현상을 줄이기 위한 모델 분할 기반의 스케줄링 기법을 제공한다. 본 연구에서는 Edge TPU가 장착된 Coral 개발 보드와 이미지 분류 모델들을 이용하여 해당 프레임워크의 성능을 검증하였다. 그 결과 기존 Edge TPU 기반 시스템보다 37%만큼 더 높은 스케줄링 가능성 (scheduablity)를 제공할 수 있음을 보였다.

다중목적 보상함수가 개선된 강화학습 기반 NAS

임철순,김명선 대한전자공학회 2022 전자공학회논문지 Vol.59 No.11

DNN의 효용성이 넓은 범위의 응용에서 검증되면서 모바일과 같은 임베디드 환경에서 사용할 수 있도록 DNN을 경량화 하는 연구도 많이 이루어지고 있다. 하지만 사람이 직접 DNN구조를 설계하는 데에는 많은 노력과 시간이 소요되므로 이를 해결하기 위해 NAS(Neural Architecture Search)가 등장했다. NAS는 DNN 구조를 자동으로 탐색하며 여기서 탐색되는 DNN들은 현존하는 SOTA(State-of-the-Art) DNN들과 비교해도 뒤쳐지지 않는 성능을 보여주고 있다. 대표적인 모바일용 NAS인 MnasNet은 높은 성능과 낮은 실행시간을 만족하는 DNN을 탐색할 수 있다. MnasNet은 추론 실행시간 제약조건을 만족하면서 정확도는 가장 높은 DNN을 탐색하는 것이 목표이다. 본 논문에서는 MnasNet을 기반으로 정확도와 실행시간에 대한 최적화를 하는 다중목적 보상함수에 집중한다. 먼저 MnasNet에서 사용한 보상함수를 분석하고 주어진 제한시간보다 짧은 추론 실행시간을 가지면서 정확도가 최대가 되는 DNN을 탐색할 수 있도록 새로운 보상함수를 제안한다. 본 논문에서 제안된 보상함수를 사용하였을 때 NAS가 생성하는 DNN 모델들이 추론 실행시간 제약조건을 만족하는 시점이 MnasNet의 보상함수를 사용했을 때에 비해 15%빨라졌다.

GPU 부하 상황에서 DNN 추론 시 은닉 계층별 수행시간 분석

유용환,정혁진,문수묵 한국정보과학회 2020 정보과학회 컴퓨팅의 실제 논문지 Vol.26 No.10

Deep neural networks (DNN) comprise multiple different layers. Recently, several studies have proposed dividing a large DNN into multiple partitions and parallelizing their computations. For efficient partitioning and execution of the network, we need to know the execution time of each DNN layer. Many previous studies have suggested estimating this execution time with the amount of computation performed in the layer. Another critical factor of a DNN layer’s execution time is the availability of the computation resources. In particular, execution time has not been studied thoroughly under resource contention. In this paper, we focus on the graphical processing unit (GPU), currently the most popular hardware component for accelerating the DNN computations. We change the concurrent workloads on a GPU to various levels and measure the execution time of several core DNN layers. Using a decision tree trained on these results, we analyze the effect of different factors on each layer’s execution time together, and their relative importance in deciding the execution time. Also, we compare two different regression models that can be used to predict the layer execution time based on this information. 딥러닝의 모델로 사용되는 심층 신경망(DNN)은 여러 계층(layer)으로 구성된다. 최근에는 연산의 병렬화를 위해 단일 모델을 더 작은 단위로 분할 처리하는 등의 방법들이 연구되고 있다. 전체 모델을 효과적으로 나누기 위해서는 추론 시 DNN의 각 계층의 계산에 걸리는 시간을 분석할 필요가 있다. 이에 영향을 미치는 요인으로 각 계층에서 수행되는 연산량이나 자원의 가용성 등을 들 수 있다. 특히, 작업 부하 상황에서 자원 경합에 의한 수행시간의 변화는 대부분 선행연구에서 깊이 있게 다뤄지지 않았다. 본 논문은 딥러닝 연산에 가장 많이 사용되는 그래픽 처리장치(GPU)의 가용성과 계층의 수행시간 간의 관계에 주목하여, GPU의 병렬 작업 부하 수준을 변화시키면서 각 layer의 수행시간을 측정한다. 측정된 수행시간으로 결정 트리 모델을 학습시켜, 각 계층의 수행시간에 영향을 미치는 요소들과 그 중요도를 분석한다. 나아가, 이러한 정보를 바탕으로 계층별 수행시간 예측에 사용될 수 있는 두 가지 회귀 모델의 정확도를 비교한다.

Deep Neural Network Entrepreneurial Project Recommendation Model for the Integration of Industry, Education, and Entrepreneurship Needs of Students

Tao Long,ZeKun Wang 대한전자공학회 2024 IEIE Transactions on Smart Processing & Computing Vol.13 No.1

As the size of the entrepreneurship project information platform grows, it is becoming increasingly difficult for student users to find in-demand entrepreneurship projects that integrate industry and education comprehensively and rapidly. The severe information overload leads to poor accuracy of recommendation results. This study addressed these problems based on Deep Neural Networks (DNNs) and Matrix Decomposition Algorithms (MDAs) by combining a Convolutional Neural Network (CNN), word embedding, and one-hot coding techniques. The DNN-MF model was used to extract the entrepreneurial needs and implicit features of students. The DNN-MF model designed for the study was also improved and incorporated with student user features, i.e., the DNN-DNN2 model was constructed. The experiments showed that the Root Mean Square Error (RMSE) of the DNN-MF model was lower than that of the Convolution Matrix Factorization (ConvMF) and Probabilistic Matrix Factorization (PMF) by 0.1190 and 0.1677, respectively. The RMSE of the DNN-DNN2 model was lower than that of the DNN-MF model, and the recommendation accuracy of the study model was 2.35% higher than that of the DNN-DNN1 model, which did not incorporate the student user characteristics. These results showed that the proposed recommendation model for entrepreneurial projects was significantly better than the current popular ones. Moreover, the model could complete the task of recommending entrepreneurial projects faster and more accurately, effectively solving the cold start problem of users and projects, which has certain practical significance.

Deep Neural Network 기반 프로야구 일일 관중 수 예측 : 광주-기아 챔피언스 필드를 중심으로

박동주(Dong Ju Park),김병우(Byeong Woo Kim),정영선(Young-Seon Jeong),안창욱(Chang Wook Ahn) 한국스마트미디어학회 2018 스마트미디어저널 Vol.7 No.1

본 연구는 Deep Neural Network(DNN)을 이용하여 광주-기아 챔피언스 필드의 일일 관중 수를 예측함으로써 이를 통해 구단과 관련기업의 마케팅 자료제공 및 구장 내 부대시설의 재고관리에 자료로 쓰임을 목적으로 수행 되었다. 본 연구 에서는 Artificial Neural Network(ANN)의 종류인 DNN 모델을 이용하였으며 DNN 모델의 과적합을 막기 위해 Dropout 과 Batch normalization 적용한 모델을 바탕으로 총 4종류를 설계하였다. 각각 10개의 DNN을 만들어 예측값의 Root Mean Square Error(RMSE)와 Mean Absolute Percentage Error(MAPE)의 평균값을 낸 모델과 예측값의 평균으로 RMSE와 MAPE를 평가한 Ensemble 모델을 만들었다. 모델의 학습 데이터는 2008년부터 2017년까지의 관중 수 데이터를 수집하여 수집된 데이터의 80%를 무작위로 선정하였으며, 나머지 20%는 테스트 데이터로 사용하였다. 총 100회의 데이터 선정, 모델구성 그리고 학습 및 예측을 한 결과 Ensemble 모델은 DNN 모델의 예측력이 가장 우수하게 나왔으며, 다중선 형회귀 모델 대비 RMSE는 15.17%, MAPE는 14.34% 높은 예측력을 보이고 있다. In this paper, we used the Deep Neural Network (DNN) to predict the number of daily spectators of Gwangju -KIA Champions Field in order to provide marketing data for the team and related businesses and for managing the inventories of the facilities in the stadium. In this study, the DNN model, which is based on an artificial neural network (ANN), was used, and four kinds of DNN model were designed along with dropout and batch normalization model to prevent overfitting. Each of four models consists of 10 DNNs, and we added extra models with ensemble model. Each model was evaluated by Root Mean Square Error (RMSE) and Mean Absolute Percentage Error (MAPE). The learning data from the model randomly selected 80% of the collected data from 2008 to 2017, and the other 20% were used as test data. With the result of 100 data selection, model configuration, and learning and prediction, we concluded that the predictive power of the DNN model with ensemble model is the best, and RMSE and MAPE are 15.17% and 14.34% higher, correspondingly, than the prediction value of the multiple linear regression model.

유방암 분류를 위한 전이학습 기반 DNN-SVM 하이브리드 모형

조귀래,백범수,김영순,임동훈 한국컴퓨터정보학회 2023 韓國컴퓨터情報學會論文誌 Vol.28 No.11

유방암은 전 세계적으로 여성들 대다수에게 가장 두려워하는 질환이다. 오늘날 데이터의 증가와 컴퓨팅 기술의 향상으로 머신러닝(machine learning)의 효율성이 증대되어 암 검출 및 진단 등에 중요한 역할을 하고 있다. 딥러닝(deep learning)은 인공신경망(artificial neural network, ANN)을기반으로 하는 머신러닝 기술의 한 분야로 최근 여러 분야에서 성능이 급속도로 개선되어 활용범위가 확대되고 있다. 본 연구에서는 유방암 분류를 위해 전이학습(transfer learning) 기반 DNN(Deep Neural Network)과SVM(support vector machine)의 구조를 결합한 DNN-SVM Hybrid 모형을 제안한다. 전이학습 기반제안된 모형은 적은 학습 데이터에도 효과적이고, 학습 속도도 빠르며, 단일모형, 즉 DNN과 SVM 이 가지는 장점을 모두 활용 가능토록 결합함으로써 모형 성능이 개선되었다. 제안된 DNN-SVM Hybrid 모형의 성능평가를 위해 UCI 머신러닝 저장소에서 제공하는 WOBC와 WDBC 유방암 자료를 가지고 성능실험 결과, 제안된 모형은 여러 가지 성능 척도 면에서 단일모형인 로지스틱회귀모형, DNN, SVM 그리고 앙상블 모형인 랜덤 포레스트보다 우수함을 보였다.

온 디바이스 객체 검출을 위한 상황 인지 기반의 모델 선택 기법

강성주(Seongju Kang),정채은(Chaeeun Jeong),정광수(Kwangsue Chung) 한국정보과학회 2021 정보과학회 컴퓨팅의 실제 논문지 Vol.27 No.8

DNN (Deep Neural Network)은 얼굴 인식, 음성 인식, 객체 검출 등 지능형 어플리케이션에 필요한 컴퓨터 비전 기술이다. DNN모델은 수많은 은닉층과 학습 파라미터를 포함하기 때문에 객체 검출알고리즘은 많은 연산 리소스를 요구한다. 그러므로, 모바일 장치와 같이 리소스가 제한된 환경에서는 객체 검출을 수행하는데 어려움이 있다. 본 논문에서는 온 디바이스 객체 검출을 위한 상황 인지 기반의 모델 선택 기법을 제안한다. 모델의 연산 리소스를 줄이기 위하여 시공간 도메인 별 OOI (Object Of Interest) 그룹을 정의하고 각 도메인에 대해 경량화 모델을 학습시킨다. 제안하는 기법은 상황 정보를 기반으로 시공간 도메인을 결정하고 짧은 지연 시간으로 정확한 물체 감지가 가능하도록 최적의 DNN 모델을 선택한다. 기존의 객체 검출 기법과의 비교 실험을 통해 제안하는 기법이 유사한 정확도를 달성하면서 짧은 지연 시간으로 객체 검출이 가능한 것을 확인하였다. The deep neural network (DNN) is computer vision technology required for intelligent applications such as face recognition, voice recognition, and object detection, etc. Since the DNN model contains a number of hidden layers and learning parameters, the object detection algorithm requires many computational resources. Therefore, it is difficult to perform object detection in resource-constrained environments such as mobile devices. In this paper, we proposed a context-aware model selection scheme for on-device object detection. To reduce the computational resources of the DNN model, we defined the object of interest (OOI) groups for each spatiotemporal domain and trained lightweight models for each domain. The proposed scheme determines the spatiotemporal domain based on the context information and selects the optimal DNN model to enable accurate object detection with a short latency.

DNN과 HoG Feature를 이용한 도로 소실점 검출 방법

윤대은,최형일 한국콘텐츠학회 2019 한국콘텐츠학회논문지 Vol.19 No.1

소실점이란 실제 공간의 평행한 선들이 영상 내에 투영되면서 한곳에 모이는 점으로, 도로 공간에서의 소실점은 매우 중요한 공간정보이다. 도로 공간에서의 소실점을 이용해 추출된 차선의 위치를 개선하거나, 깊이지도 영상을 생성할 수 있다. 본 논문에서는 자동차의 시점을 기준으로 도로를 촬영한 영상을 Deep Neural Network(DNN)과 Histogram of Oriented Gradient(HoG) Feature를 이용한 소실점 검출 방법을 제안한다. 제안하는 알고리즘에서는 영상을 블록별로 나눠서 주요 에지 방향을 추출하는 HoG Feature 추출 단계와 DNN 학습 단계, 그리고 Test 단계로 나뉜다. 학습단계에서는 자동차 시점으로 기준으로 도로 영상 2300장으로 학습을 진행한다. 그리고 Test 단계에서는 Normalized Euclidean Distance(NormDist) 방법을 사용하여 제안하는 알고리즘의 효율성을 측정한다. A vanishing point is a point on an image to which parallel lines projected from a real space gather. A vanishing point in a road space provides important spatial information. It is possible to improve the position of an extracted lane or generate a depth map image using a vanishing point in the road space. In this paper, we propose a method of detecting vanishing points on images taken from a vehicle’s point of view using Deep Neural Network (DNN) and Histogram of Oriented Gradient (HoG). The proposed algorithm is divided into a HoG feature extraction step, in which the edge direction is extracted by dividing an image into blocks, a DNN learning step, and a test step. In the learning stage, learning is performed using 2,300 road images taken from a vehicle’s point of views. In the test phase, the efficiency of the proposed algorithm using the Normalized Euclidean Distance (NormDist) method is measured.