희소 행렬-멀티벡터(SpMM) 곱셈은 딥러닝 모델과 과학 컴퓨팅 응용 분야에서 핵심 커널이다. 그러나 희소 행렬의 0이 아닌 원소가 불규칙하게 분포하고 메모리 접근이 불규칙하다는 점 때문에, GPU에서 SpMM의 높은 성능을 달성하는 것은 어렵다. 본 논문에서는 행(row)에서의 블록 희소성 패턴(block sparsity patterns)에 기반한 새로운 희소 행렬 재배열 알고리즘을 제안하여 SpMM의 데이터 국소성을 개선한다. 재배열 알고리즘을 가속하기 위해 GPU 기반의 병렬 구현을 개발한다. 재배열된 행렬에서 고밀도 타일(high-density tiles)은 GPU의 Tensor Cores를 활용하여 가속된 조밀 행렬 곱셈을 수행하는 데 사용된다. 다수의 대규모 희소 행렬에 대한 실험 결과, 본 TC-SpMM은 cuSPARSE 대비 평균 3.4x의 속도 향상과 최고 20.77x의 속도 향상을 달성함을 보였다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.