확률적 경사 하강법의 파이프라인 병렬화에서 지연 기울기 완화 기법 연구 = Research of Delayed Gradient Mitigation Methods in Pipelined Stochastic Gradient Descent

국문 초록 (Abstract)

대규모 DNN 모델을 대용량 데이터셋에서 빠르게 학습시키는 병렬화 훈련 방법들이 많이 연구되어 왔다. 특히, 모델 병렬화에서 유래된 파이프라인 병렬화가 주목을 받고 있다. 파이프라인 병렬화 방법은 모델 파라미터를 여러 컴퓨팅 노드에 나누고 여러 미니 배치를 동시에 처리한다. 그러나 단순한 파이프라인 병렬화는 파라미터 불일치와 지연 기울기 문제로 인해 불안정한 학습과 성능 저하 문제를 겪는다. 본 연구에서는 파라미터 불일치 문제를 해결하기 위해 파이프라인 병렬화 안에서 여러 모델 사본을 유지하고, 지연 기울기 문제를 해결하기 위해 데이터 병렬화에서 연구된 최적화 기법들을 적용하는 것을 제안한다. 특히, 파이프라인 병렬화에 탄성력 기반 이동 평균 알고리즘을 결합한 EA-Pipe와 테일러 근사 기반 기울기 지연 보상 알고리 즘을 결합한 TaylorPipe를 제안한다. 제안된 방법들의 효과를 확인하기 위해 CIFAR과 ImageNet 데이터셋으로 성능을 검증했다.

목차 (Table of Contents)

• 1장. 서론 1
• 2장. 연구 동향 5
• 2.1 탄성력 기반 이동 평균 알고리즘 5
• 2.2 테일러 근사 기반 기울기 지연 보정 알고리즘 6
• 2.3 PipeDream 파이프라인 병렬화 스케줄링 7
• 3장. 제안하는 방법 9
• 3.4 EAPipe 9
• 3.5 TaylorPipe 13
• 4장. 실험 내용 15
• 4.6 실험 방법 15
• 4.7 ResNet34와 CIFAR-100 실험 결과 16
• 4.8 ResNet50와 ImageNet 실험 결과 19
• 4.9 TaylorPipe 추가 분석 실험 22
• 4.9.1 6가지 지표 설명 22
• 4.9.2 지표 측정 과정에서 주의점 24
• 4.9.3 Hessian vector product를 사용한 기울기의 테일러 1차항 계산 25
• 4.9.4 실험 방법 26
• 4.9.5 Euclidean Norm 분석 28
• 4.9.6 Cosine Similarity 분석 29
• 4.9.7 Gradient Norm 분석 30
• 4.9.8 Hessian Part Norm 분석 31
• 4.9.9 Parameter Difference Norm 분석 33
• 5장. 결론 35
• 참고문헌 37