최근의 딥러닝 시스템에서는 막대한 작업부하를 다수 노드들에 효과적으로 분배하는 분산 병렬 딥러닝 구조를 채택하고 있다. 이러한 구조에서는 각 노드가 일부분의 데이터 혹은 모델을 갖고 학습을 진행하기 때문에 전체적인 학습 모델 파라미터(global learning parameter)의 일관성 유지를 위해 지속적인 노드 간 동기화가 필요하고, 동기화 기법의 효율성에 따라 학습 시간과 성능이 매우 큰 영향을 받는다. 본 논문에서는 실시간 ‘학습 진전 비율(learning progress ratio, LPR)’ 기반의 동적 threshold와 local cache를 활용함으로써 기존의 SSP(stale synchronous parallel) 학습 방법에서 발생되는 동기화 오버헤드와 네트워크 오버헤드를 감소시켜 학습 시간을 단축시킨 DTSSP(dynamic threshold stale synchronous parallel) 학습 방법을 제안하고 성능을 비교 분석한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.