분산 딥러닝에서의 주요 과제 중 하나는 스트래글러(straggler) 문제를 완화하는 것이다. 스트래글러는 동기화 지연을 증가시키며 딥러닝 모델의 수렴을 유의하게 저해한다. 우리는 불균형한 데이터 샘플이 스트래글러 문제를 악화시키고 딥러닝 모델의 수렴을 더 느리게 만든다는 점을 실증적으로 관찰하였다. 그러나 BOA 및 EP4DDL과 같은 기존 접근법은 스트래글러 문제를 해결하면서도 데이터 불균형 이슈를 다루지 못하였다. 스트래글러 및 데이터 불균형 문제를 극복하기 위해, 우리는 새로운 데이터 불균형 인지 스케줄러 Chronica를 제안한다. Chronica는 데이터 샘플의 크기와 각 워커의 설정(configuration)에 기반하여 각 워커에 요구되는 학습 시간을 정교하게 예측한다. Chronica는 이후 각 워커에 동일한 학습 시간을 제공함으로써 단계(step) 수준 및 에포크(epoch) 수준의 스트래글러 문제를 모두 완화한다. 또한 Chronica는 각 워커의 학습 작업량(training workload)에 대한 가중 평균을 기반으로 빠른 수렴을 달성하기 위한 새로운 파라미터 동기화 동기화 방식을 제안한다. 32개의 Amazon EC2 GPU 인스턴스에서 4개의 딥러닝 모델을 사용한 광범위한 평가 결과, 제안된 Chronica는 최신 기술(state-of-the-art) 시스템 대비 최대 3.19배의 속도 향상을 달성하였다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.