Tensor Cores 기반 희소 행렬 연산 최적화(SpMM) 연구

Tensor Cores-Driven Sparse Matrix Multiplication Optimization (SpMM)

연구 내용

희소 행렬의 블록 희소 구조를 활용하거나 재정렬 없이 커널을 변형하여 GPU Tensor Cores를 효율적으로 적용하는 연구

희소 행렬-행렬/멀티벡터 곱(SpMM)은 비영(非零) 원소 분포의 불규칙성으로 인해 메모리 접근과 연산 활용도가 떨어집니다. 본 연구는 블록 희소 패턴을 기준으로 행렬 재배열 또는 블록화된 연산 변환을 수행하여 데이터 국소성을 높이고, GPU Tensor Cores를 활용하는 방향으로 커널을 설계합니다. GPU 병렬 구현에서는 스레드 블록 배치와 공유 메모리 사용을 조합해 부하 불균형과 데이터 이동을 줄이는 최적화 절차를 포함합니다. 이를 통해 희소 연산의 실사용 성능을 안정적으로 끌어올리는 것을 목표로 합니다.

관련 프로젝트

2건

연구 흐름

2024년에는 먼저 블록 희소 패턴을 인지해 희소 행렬을 재정렬하고, Tensor Cores에 맞는 타일 구조로 데이터 재배치를 통해 SpMM 성능을 개선하는 접근을 제안했습니다. 같은 해 후속 연구에서는 블록 희소 패턴을 클러스터링하여 재정렬 비용을 감안하면서도 데이터 지역성을 높이는 방법을 확장했습니다. 또한 재정렬 없이 CSR 포맷에서 Tensor Core-Adapted SpMM을 구현하기 위해 dot product를 블록 행렬곱으로 변환하고, 동적 스레드 블록 할당과 공유 메모리 최적화를 결합하는 방향으로 연구를 이어갔습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

희소 딥러닝 연산 가속
GPU 기반 과학계산 커널 최적화
Tensor Cores 호환 SpMM 구현
희소 행렬 재배열/클러스터링
재정렬 없는 커널 변환
CSR 기반 고효율 매핑
데이터 국소성 기반 성능 개선
부하 불균형 완화 스케줄링
공유 메모리 기반 데이터 이동 최소화
희소 행렬 벤치마크 최적화