An Optimized BiRD for High Throughput Depthwise Convolution = 깊이별 합성곱의 높은 처리율을 위한 BiRD 최적화

국문 초록 (Abstract)

최근 인공지능의 급속한 발전과 함께 영상 분류, 객체 검출, 영상 분할 등 컴퓨터 비전의 성능 또한 크게 향상되었다. 이러한 기술은 자율주행차, 드론, 의료 기기 등 실시간 성능이 요구되는 임베디드 플랫폼에서 특히 많이 활용된다. 그러나 인공신경망은 일반적으로 계층이 깊어질수록 정확도가 높아지는 대신 연산량과 매개변수가 급격히 증가하는 한계를 가진다. 이를 완화하기 위해 경량화 연구가 활발히 진행 중이며, 대표적인 방법이 일반 합성곱을 깊이별 분리 합성곱으로 대체하는 것이다. 하지만 깊이별 분리 합성곱에 속해있는 깊이별 합성곱은 채널별로 연산이 분리되는 특성 탓에 weight stationary, input stationary, output stationary 데이터플로우 적용 시 PE 활용률이 크게 저하되는 문제가 있다. 이를 개선하기 위해 제안된 BiRD 데이터플로우는 입력과 누적합을 직교가 아닌 마주보는 방향으로 흐르게 하여 활용률을 높였으나, 유효한 출력 데이터를 위해 필터 높이에 비례한 낭비 사이클이 주기적으로 발생해 처리율이 떨어지는 한계를 지닌다. 본 논문에서는 이러한 낭비되는 사이클을 제거하여 연산 효율을 극대화하는 새로운 데이터플로우와 시스톨릭 어레이 구조를 제안한다. 하드웨어 자원이 제한된 환경에서 PE 활용률을 극대화할 수 있도록 16×16 크기의 시스톨릭 어레이를 대상으로 연구를 수행하였으며, 필터의 크기가 3×3인 상황을 기준으로 구현 및 비교하였다. Synopsys Design Compiler로 합성한 결과, BiRD 대비 제안하는 방법은 단일 PE 체인 기준 약 4%의 미미한 면적 증가만으로 낭비 사이클을 제거하여 깊이별 합성곱 처리 속도를 약 25.71% 향상시켰다. 또한 전체 시스톨릭 어레이 구조를 비교했을 때도 총 면적 증가는 약 2% 수준에 그침을 확인하였다. 본 논문에서 제안하는 데이터플로우와 아키텍처는 처리 속도를 향상시킴으로써, 실시간성이 요구되는 비전 시스템에 효과적으로 기여할 것으로 기대된다.

다국어 초록 (Multilingual Abstract)

With the rapid progress of artificial intelligence, performance in computer vision tasks such as image classification, object detection, and semantic segmentation has improved markedly. These technologies are extensively used in embedded platforms requiring real-time performance, including autonomous vehicles, drones, and medical devices. However, as artificial neural networks deepen, accuracy tends to increase while computational cost and parameter counts rise sharply. To mitigate this, research on lightweight networks has been active, and a representative approach replaces standard convolution with depthwise separable convolution. Yet, the depthwise convolution component of depthwise separable convolution poses a challenge. Due to its channel-wise separated operation, applying conventional dataflows like weight stationary, input stationary, or output stationary severely degrades the processing element utilization rate. The recently proposed BiRD dataflow improves this by allowing the inputs and partial sums to flow in opposite directions rather than orthogonal directions, thereby boosting utilization. However, it suffers from a limitation: periodic wasted cycles, proportional to the filter height, are required to generate valid output data, which ultimately reduces overall throughput. In this paper, we propose a novel dataflow and systolic array architecture that eliminate these wasted cycles to maximize computational efficiency. We targeted a 16×16 systolic array designed to maximize PE utilization under resource constraints and implement PE chains for both the BiRD and the proposed approach under identical conditions, based on a 3×3 filter size. Synthesis results using the Synopsys Design Compiler show that, compared to BiRD, the proposed method improves depthwise convolution processing speed by approximately 25.71% by eliminating wasted cycles, with only a marginal area increase of about 4% per single PE chain. Furthermore, when comparing the full systolic array structures, the total area increase was confirmed to be marginal at approximately 2%. The proposed dataflow and systolic array architecture are expected to significantly contribute to enhancing throughput and ensuring real-time performance in embedded systems where high-speed operation is critical.

목차 (Table of Contents)

• 1. Introduction 1
• 2. Background 3
• 2.1. Systolic Array 3
• 2.2. Depthwise Separable Convolution 7
• 2.3. BiRD 11
• 3. Proposed Architecture 16
• 3.1. Register Chain 17
• 3.2. SRAM 21
• 3.3. Dataflow of Proposed Method 24
• 4. Experimental Results 28
• 4.1. Experimental Environment 29
• 4.2. Results and Discussion 30
• 5. Conclusion 35
• Reference 36
• Abstract 39