입력 시퀀스의 길이가 증가함에 따라 Transformer 모델을 학습하는 데 필요한 계산 복잡도는 입력 길이에 대해 이차적으로 증가한다. 따라서 긴 시퀀스를 사용하는 대규모 Transformer의 학습을 가속하기 위해서는 Transformer 학습 과정 전반을 지배하는 다중 헤드 어텐션(multi-head attention) 연산에 필요한 연산 횟수를 줄이는 것이 핵심이다. 기존의 접근법들은 관심 점수(attention score) 행렬에서 중요 요소를 정적으로 선택함으로써 학습 전에 다중 헤드 어텐션을 희소화(sparsify)하고자 하였다. 그러나 관심 점수 행렬에서의 중요 요소는 서로 다른 모델 과제와 데이터셋에 따라 달라질 수 있으므로, 더 나은 모델 품질을 달성하기 위해서는 중요 요소를 동적으로 고려하는 것이 필수적이다. 본 논문에서는 표준 Transformer 학습을 소수 단계 수행하는 동안 관심 점수 행렬에서 과제 및 입력 의존적인 희소성 패턴을 포착하는 새로운 희소성 인지(sparsity-aware) Transformer를 제안한다. 이후 확인된 희소성 패턴은 관심 점수 행렬의 비대칭도(skewness) 정도 및 거리(distance) 값을 기반으로 표준 학습에서 희소 학습(sparse training)으로 전이된다. 실험 결과, 본 접근법은 다중 헤드 어텐션 연산에서의 연산 횟수를 유의미하게 감소시켜 학습 속도를 최대 만큼 향상시키고, 메모리를 만큼 감소시키며, 최신의 희소 Transformer 모델에 비해 더 나은 정확도를 달성함을 보여준다.
*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.