An Improved Systolic Array for Efficient Depthwise Separable Convolution = 깊이별 분리 합성곱의 효율적 연산을 위한 개선된 시스톨릭 어레이

국문 초록 (Abstract)

최근 컴퓨터 비전 분야에서는 딥러닝을 활용한 다양한 연구가 활발히 진행되고 있으며, 그 중에서도 합성곱 신경망 기반 비전 알고리즘은 다양한 응용에서 우수한 성능을 보여 폭넓게 활용되고 있다. 그러나 합성곱 신경망 모델의 핵심 연산 계층인 합성곱 연산 계층은 방대한 연산 파라미터와 높은 연산량을 요구한다는 한계를 갖는다. 이를 완화하기 위해 일반 합성곱을 깊이별 분리 합성곱으로 대체하는 방안이 제안되었으나, 이를 합성곱 계층 연산에 널리 사용되는 systolic array 구조에 적용할 경우 연산 효율이 크게 저하되는 문제가 발생한다. 기존 연구들은 이러한 비효율을 줄이기 위한 다양한 기법을 제안해 왔으나, 주로 깊이별 합성곱 연산의 효율 개선에 초점을 두고 있어 점별 합성곱까지 아우르는 통합적인 최적화 방법은 상대적으로 부족하다. 이에 본 연구에서는 weight stationary 기반 systolic array 상에서 깊이별 합성곱과 점별 합성곱을 모두 효율적으로 수행할 수 있는 데이터 플로우와 이를 수용하는 하드웨어 가속기 구조를 제안한다. 제안하는 systolic array는 심층 합성곱 계층에서 요구되는 수백 개 이상의 채널 수를 고려
하여 128 x 128 크기로 설계하였으며, 성능 평가는 weight stationary 기반의 기존 systolic array 구조와 최신 systolic array 구조를 대상으로 비교하는 방식으로 수행하였다. MobileNetV2의 전체 합성곱 계층을 대상으로 연산 사이클 수를 비교한 결과, 제안 구조는 두 비교 대상 구조에 비해 약 20.3-58.7%의 사이클 수 감소를 보였다. 한편
경로 지연과 셀 면적은 각각 약 6.3-7.9%, 10.8-11.3% 증가하였으나, 연산 사이클 수와 경로 지연을 함께 고려한 전체 지연 시간은 약 15.3-55.4% 감소하였다. 따라서 제안하는 데이터 플로우와 systolic array 구조는 기존 방법 대비 깊이별 분리 합성곱 계층의 연산 효율을 유의미하게 향상시킬 수 있으며, 다양한 합성곱 신경망 기반 비전 알고리즘의 연산 속도 향상에 기여할 수 있는 실용적인 하드웨어 가속기 설계 방안이 될 것으로 기대된다.

목차 (Table of Contents)

• 1. Introduction 1
• 2. Background 4
• 2.1. Convolutional Nerual Network 4
• 2.2. Depthwise separable Convolution 7
• 2.3. Systolic Array 10
• 3. Proposed Method 14
• 3.1. Proposed Depthwise Dataflow 14
• 3.2. Proposed Pointwise Dataflow 19
• 3.3. Proposed PE Architecture 24
• 3.3. Systolic Array Architecture based on the Proposed Method 29
• 4. Experimental Results 31
• 5. Conclusion 35
• Reference 37
• Abstract 42