분산/병렬 딥러닝 학습 가속을 위한 GPU 커널 및 공간 가속기 데이터플로 최적화 연구

GPU Kernel and Spatial Accelerator Dataflow Optimization for Distributed/Parallel Deep Learning Training

연구 내용

공간 가속기와 GPU에서 딥러닝 학습을 위한 커널 성능을 예측·최적화하여 분산/병렬 학습 효율을 높이는 연구

대규모 딥러닝 학습에서 병목이 되는 계산과 메모리 이동을 줄이기 위해 공간 가속기와 GPU 커널의 데이터플로 매핑을 최적화합니다. 타일드 GEMM을 대상으로 데이터의 PE 배치와 타일 크기, 스케줄링을 조합 탐색하고 분석적 비용 모델로 런타임과 에너지 관점을 함께 평가합니다. 또한 순환 신경망 학습에서는 시간 축 병렬화(Parallel-in-time)와 계층적 상태 보정으로 전방·역전파 단계의 통신 비용을 완화하는 방향으로 병렬 처리 알고리즘을 확장합니다.

관련 프로젝트

3건

연구 흐름

초기에는 공간 가속기의 데이터플로 관점에서 타일드 GEMM을 대상으로 매핑 탐색 프레임워크를 구성하고 성능·에너지 특성을 분석하는 연구를 수행했습니다. 이후 2022년에는 GRU 계열을 대상으로 시간 축 병렬화 방식과 MGRIT 기반 계층 보정 기법을 적용하여 시퀀스가 길어질수록 효율이 커지는 경로를 확인했습니다. 최근에는 대규모 모델 학습 가속을 목표로 분산 학습 최적화 및 GPU 커널 최적화와 연결되는 시스템 관점의 연구 과제를 병행하고 있습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

대규모 모델 분산 학습 가속
GPU 커널 자동 최적화
분산 딥러닝 통신 효율화
연합학습 학습 최적화
공간 가속기 데이터플로 매핑
타일 기반 GEMM 스케줄링
런타임·에너지 비용 예측
계층적 병렬 학습(Parallel-in-time)
다중 코어·다중 프로세서 학습
대용량 데이터-연산 플랫폼 고도화