다양한 뉴럴 네트워크를 지원하기 위한 가속기 기반의 시스템 연구의 필요성

국문 초록 (Abstract)

뉴럴 네트워크는 우리의 삶을 급속도로 변화시키고 있는 핵심 기술이다. 최근 하드웨어 설계자들은 이들의 중요성을 인식하고 텐서처리장치(TPU)와 같은 하드웨어 가속기들을 제시해왔다. 그 결과, 데이터센터부터 개인용 장치에 이르기까지 다양한 환경에서 하드웨어 가속기가 적용되기 시작하였다. 하지만, 본 논문은 현존하는 가속기들이 간단하고 정형화된 행렬 곱 기반의 연산만을 집중하고 있음을 지적한다. 따라서 이 가속기들은 중요성이 날로 커지는 새로운 보조적 연산을 지원하지 못하고 있다. 보조 레이어가 뉴럴 네트워크 성능에 끼치는 영향을 고려할 때, 이들을 지원하지 못하는 시스템은 성능상의 큰 손실을 감수할 수밖에 없다. 즉, 우리는 시스템상에서 다양한 연산을 지원할 수 있게 하는 것이 매우 중요함을 시사한다. 이와 더불어, 다양한 연산을 효율적으로 지원하기 위한 다양한 시스템 후보들을 살펴보고, 이들의 장단점에 대해서 논의한다.

다국어 초록 (Multilingual Abstract)

Neural networks are among the most important techniques that have dramatically changed the way we live. To efficiently support neural networks, hardware architects have proposed various neural network accelerators (e.g., TPUs). This has led to a proliferation of hardware accelerators for datacenters and personal devices. However, the scope of these hardware accelerators has been very limited to just the acceleration of simple and structured matrix multiplication operations. Specifically, while emerging helper layers such as pooling and normalization layers play an important role in the performance of neural networks, the current inflexible hardware accelerators are missing huge opportunities due to their restricted scope. These problems have prompted us to develop a computing platform that supports various emerging layers to take advantage of full potential of hardware accelerators. Hereinafter, we discuss various system designs that efficiently support emerging layers and their tradeoffs.

목차 (Table of Contents)

• 요약
• Abstract
• 1. 서론
• 2. 뉴럴 네트워크 레이어 분류
• 3. 뉴럴 네트워크 보조 레이어 최신 동향
• 4. 다양한 보조 레이어 지원에 대한 필요성
• 5. 다양한 레이어를 지원하기 위한 시스템 설계
• 6. 결론 및 예상 효과
• References

참고문헌 (Reference)

1 Kim, Youngsok, "μLayer : Low Latency On-Device Inference Using Cooperative Single-Layer Acceleration and Processor-Friendly Quantization" 2019

2 Wang, Jue, "Video Representation Learning using Discriminative Pooling" 2018

3 Foley, Denis, "Nvlink, Pascal and Stacked Memory:Feeding the Appetite for Big Data"

4 Jang, Hanhwi, "MnnFast : A Fast and Scalable System Architecture for Memory-Augmented Neural Networks" 2019

5 Arunkumar, Akhil, "MCM-GPU : Multi-Chip-Module GPUs for Continued Performance Scalability" 2017

6 Krizhevsky, Alex, "Learning Multiple Layers of Features from Tiny Images"

7 Jouppi, Norman P., "In-datacenter Performance Analysis of a Tensor Processing Unit" 2017

8 Chen, Yu-Hsin, "Eyeriss : A Spatial Architecturefor Energy-efficient Dataflow for Convolutional Neural Networks" 2016

9 He, Kaiming, "Deep Residual Learning for Image Recognition" 2016

10 Kwon, Dongup, "DCS-ctrl : A Fast and Flexible Device-control Mechanism for Devicecentric Server Architecture" 2018

11 Ahn, Jaehyung, "DCS : A Fast and Scalable Device-centric Server Architecture" 2015

12 Nam, Hyeonseob, "Batch-instance Normalization for Adaptively Style-invariantNeural Networks" 2018

13 Kingma, Diederik P, "Adam : A Method for Stochastic Optimization"

14 Li, Youjie, "A Network-centric Hardware/Algorithm Co-design toAccelerate Distributed Training of Deep Neural Networks" 2018