지연 보상을 적용한 파이프라인 방식 확률적 경사 하강법

국문 초록 (Abstract)

최근 딥러닝은 음성인식, 영상인식과 같이 다양한 분야에서 두각을 보이며 여러 가지의 생성모델에서도 그 사용이 급진적으로 확산되고 있다. 하드웨어의 발달과 급진적으로 늘어나는 데이터의 양에 맞추어 딥러닝 모델의 학습에 사용되는 학습 데이터의 양 또한 증가하였고 이는 학습되어야할 모델 파라미터 개수의 증가를 가져왔다. 이렇게 더 복잡한 모델은 좋은 성능을 보장하며 큰 관심을 받았으나 치명적인 단점으로 학습 시간의 증가가 꼽혔으며 이러한 단점은 딥러닝을 더 효과적으로 학습하기 위해 개선되어야할 문제 중 하나로 지적이 되어왔다.

이를 해결하기 위해 여러 개의 GPU를 사용한 병렬처리 학습방법이 제시되었다. 딥러닝을 병렬화하는 데에 있어서 확인해야하는 지표는 두 가지로, 첫째 단일 GPU 대비 다중 GPU 사용시 학습이 얼마나 가속화되는지, 둘째 단일 GPU 대비 다중 GPU를 사용한 병렬화 방법으로 학습된 모델의 성능이 보장되는지에 대한 확인이 필요하다. 여기서 제안하는 병렬화 방법은 파이프라이닝을 이용하는 것으로, 다중 GPU 환경에서 단일 GPU마다 모델의 각 층을 할당시켜 학습을 진행하는 방식이다.

이에 추가적으로 단일 GPU에서의 수렴 속도와 모델의 정확도를 저해하는 delayed gradient 문제를 해결하는 데에 delay compensation방법이 사용된 파이프라인 병렬화 방법을 제시한다. 이는 기존의 모델보다 향상된 성능을 보여주고 있다.

목차 (Table of Contents)

• 1. Introduction 1
• 2. 관련 연구. 3
• 2.1. SGD. 3
• 2.2. Data Parallelism. 7
• 2.2.1. Aynchronous SGD 9
• 2.2.2. Synchronous SGD. 11
• 2.3 Model Parallelism. 12
• 2.3.1. Pipelined SGD. 12
• 2.3.2. Pipedream 15
• 3. 제안 모델. 17
• 4. Experiments. 21
• 4.1. 실험 환경 . 21
• 4.2. 데이터 셋. 21
• 4.3. 사전 실험. 21
• 4.3.1. Learning Rate. 22
• 4.3.2. Minibatch Size. 22
• 4.3.3. Layer Depth 23
• 4.3.4. Delay Compensation λ 24
• 4.4. Data Parallelism vs Model Parallelism. 25
• 4.5. SGD, Pipelined SGD, Pipedream, DC Pipe Cifar 10 성능비교 27
• 4.6. SGD, Pipelined SGD, Pipedream, DC-Pipe Tiny ImageNet 성능비교. 29
• 5. 결론 30
• 6. 참고 문헌 31