하이퍼그래프 신경망(Hypergraph Neural Networks, HNNs)은 그래프 구조 데이터에서 고차 상호작용을 활용하여 다양한 응용 분야에 걸쳐 효과적인 표현 학습을 가능하게 한다. 전체 하이퍼그래프에 불필요한 관계가 포함되는 문제로 인해, 표현의 질을 보존하면서 부분구조를 효율적으로 포착하는 하이퍼그래프 샘플링 방법을 채택하는 것이 중요하다. 그러나 노드 또는 하이퍼엣지만을 대상으로 하는 기존 하이퍼그래프 샘플링 방법은 샘플링의 무작위성과 정적인 계산용 부분 하이퍼그래프 사용으로 인해 부분그래프 단절 문제가 발생하고 노드 중요도가 간과되는 한계가 있다. 본 논문에서는 HNN 학습 과정에서 새로운 주의(attention) 기반 다단계 하이퍼그래프 샘플링 전략을 통해 대표적인 부분 하이퍼그래프를 동적으로 구성하는 하이퍼그래프 학습 프레임워크 D-HAT을 제안한다. 학습 중 부분 하이퍼그래프의 표현 품질을 향상시키고 유익한 이웃을 우선시하기 위해, 주의 기반 집계(attention-guided aggregation)와 조밀한 스킵 연결(dense skip connections)을 통합한 새로운 주의 기반 HNN을 개발하였다. 본 연구진의 지식으로는, 본 논문은 하이퍼그래프 표현 학습을 위해 다양한 하이퍼그래프 샘플링 방법을 정량적으로 비교한 최초의 연구이다. 실제 그래프 데이터셋에 대한 실험 결과는 D-HAT의 효과를 보여주며, 기존 하이퍼그래프 샘플링 방법에 비해 일관되게 더 높은 정확도를 달성함을 확인하였다.

희소 행렬-행렬 곱셈(SpMM)은 딥러닝 모델과 과학 컴퓨팅에서 필수적이다. 최근 GPU의 Tensor Core(TC)는 원래 혼합 정밀도를 사용하는 조밀 행렬 곱셈을 위해 설계되었으나, 그 중요성이 크게 부각되고 있다. 그러나 희소 행렬에서 0이 아닌 원소의 개수가 가변적이고 메모리 접근 패턴이 불규칙하기 때문에, SpMM에 TCs를 활용하는 것은 어렵다. 데이터 국소성(data locality)을 개선하기 위해 선행 연구에서는 곱셈 전에 희소 행렬을 재배열(reordering)하는 방법을 제안했지만, 이는 계산 오버헤드를 추가한다. 본 논문에서는 행렬 재배열 없이 CSR(Compressed Sparse Row) 형식을 사용하면서 TCs를 활용하는 Tensor Core-Adapted SpMM(TCA-SpMM)을 제안한다. TC 활용을 최적화하기 위해 SpMM 알고리즘의 내적(dot product) 연산을 블록드 행렬-행렬 곱셈(blocked matrix–matrix multiplication)으로 변환한다. 로드 불균형을 해결하고 데이터 이동을 최소화하는 것은 SpMM 커널을 최적화하는 데 핵심이다. 우리의 TCA-SpMM은 여러 행을 동시에 처리하기 위해 스레드 블록을 동적으로 할당하고, 데이터 이동을 줄이기 위해 공유 메모리를 효율적으로 사용한다. Deep Learning Matrix Collection 공개 데이터셋의 희소 행렬에 대한 성능 결과는 TCA-SpMM이 TCs를 최적화하여 구현된 최첨단 SpMM 구현 대비 최대 29.58×의 속도 향상을 달성함을 보여준다.

희소 행렬-멀티벡터(SpMM) 곱셈은 딥러닝 모델과 과학 컴퓨팅 응용 분야에서 핵심 커널이다. 그러나 희소 행렬의 0이 아닌 원소가 불규칙하게 분포하고 메모리 접근이 불규칙하다는 점 때문에, GPU에서 SpMM의 높은 성능을 달성하는 것은 어렵다. 본 논문에서는 행(row)에서의 블록 희소성 패턴(block sparsity patterns)에 기반한 새로운 희소 행렬 재배열 알고리즘을 제안하여 SpMM의 데이터 국소성을 개선한다. 재배열 알고리즘을 가속하기 위해 GPU 기반의 병렬 구현을 개발한다. 재배열된 행렬에서 고밀도 타일(high-density tiles)은 GPU의 Tensor Cores를 활용하여 가속된 조밀 행렬 곱셈을 수행하는 데 사용된다. 다수의 대규모 희소 행렬에 대한 실험 결과, 본 TC-SpMM은 cuSPARSE 대비 평균 3.4x의 속도 향상과 최고 20.77x의 속도 향상을 달성함을 보였다.

하이퍼그래프 신경망(Hypergraph Neural Networks, HNNs)은 그래프 구조 데이터에서 고차 상호작용을 활용하여 다양한 응용 분야에 걸쳐 효과적인 표현 학습을 가능하게 한다. 전체 하이퍼그래프에 불필요한 관계가 포함되는 문제로 인해, 표현의 질을 보존하면서 부분구조를 효율적으로 포착하는 하이퍼그래프 샘플링 방법을 채택하는 것이 중요하다. 그러나 노드 또는 하이퍼엣지만을 대상으로 하는 기존 하이퍼그래프 샘플링 방법은 샘플링의 무작위성과 정적인 계산용 부분 하이퍼그래프 사용으로 인해 부분그래프 단절 문제가 발생하고 노드 중요도가 간과되는 한계가 있다. 본 논문에서는 HNN 학습 과정에서 새로운 주의(attention) 기반 다단계 하이퍼그래프 샘플링 전략을 통해 대표적인 부분 하이퍼그래프를 동적으로 구성하는 하이퍼그래프 학습 프레임워크 D-HAT을 제안한다. 학습 중 부분 하이퍼그래프의 표현 품질을 향상시키고 유익한 이웃을 우선시하기 위해, 주의 기반 집계(attention-guided aggregation)와 조밀한 스킵 연결(dense skip connections)을 통합한 새로운 주의 기반 HNN을 개발하였다. 본 연구진의 지식으로는, 본 논문은 하이퍼그래프 표현 학습을 위해 다양한 하이퍼그래프 샘플링 방법을 정량적으로 비교한 최초의 연구이다. 실제 그래프 데이터셋에 대한 실험 결과는 D-HAT의 효과를 보여주며, 기존 하이퍼그래프 샘플링 방법에 비해 일관되게 더 높은 정확도를 달성함을 확인하였다.

희소 행렬-행렬 곱셈(SpMM)은 딥러닝 모델과 과학 컴퓨팅에서 필수적이다. 최근 GPU의 Tensor Core(TC)는 원래 혼합 정밀도를 사용하는 조밀 행렬 곱셈을 위해 설계되었으나, 그 중요성이 크게 부각되고 있다. 그러나 희소 행렬에서 0이 아닌 원소의 개수가 가변적이고 메모리 접근 패턴이 불규칙하기 때문에, SpMM에 TCs를 활용하는 것은 어렵다. 데이터 국소성(data locality)을 개선하기 위해 선행 연구에서는 곱셈 전에 희소 행렬을 재배열(reordering)하는 방법을 제안했지만, 이는 계산 오버헤드를 추가한다. 본 논문에서는 행렬 재배열 없이 CSR(Compressed Sparse Row) 형식을 사용하면서 TCs를 활용하는 Tensor Core-Adapted SpMM(TCA-SpMM)을 제안한다. TC 활용을 최적화하기 위해 SpMM 알고리즘의 내적(dot product) 연산을 블록드 행렬-행렬 곱셈(blocked matrix–matrix multiplication)으로 변환한다. 로드 불균형을 해결하고 데이터 이동을 최소화하는 것은 SpMM 커널을 최적화하는 데 핵심이다. 우리의 TCA-SpMM은 여러 행을 동시에 처리하기 위해 스레드 블록을 동적으로 할당하고, 데이터 이동을 줄이기 위해 공유 메모리를 효율적으로 사용한다. Deep Learning Matrix Collection 공개 데이터셋의 희소 행렬에 대한 성능 결과는 TCA-SpMM이 TCs를 최적화하여 구현된 최첨단 SpMM 구현 대비 최대 29.58×의 속도 향상을 달성함을 보여준다.

희소 행렬-멀티벡터(SpMM) 곱셈은 딥러닝 모델과 과학 컴퓨팅 응용 분야에서 핵심 커널이다. 그러나 희소 행렬의 0이 아닌 원소가 불규칙하게 분포하고 메모리 접근이 불규칙하다는 점 때문에, GPU에서 SpMM의 높은 성능을 달성하는 것은 어렵다. 본 논문에서는 행(row)에서의 블록 희소성 패턴(block sparsity patterns)에 기반한 새로운 희소 행렬 재배열 알고리즘을 제안하여 SpMM의 데이터 국소성을 개선한다. 재배열 알고리즘을 가속하기 위해 GPU 기반의 병렬 구현을 개발한다. 재배열된 행렬에서 고밀도 타일(high-density tiles)은 GPU의 Tensor Cores를 활용하여 가속된 조밀 행렬 곱셈을 수행하는 데 사용된다. 다수의 대규모 희소 행렬에 대한 실험 결과, 본 TC-SpMM은 cuSPARSE 대비 평균 3.4x의 속도 향상과 최고 20.77x의 속도 향상을 달성함을 보였다.

입력 시퀀스의 길이가 증가함에 따라 Transformer 모델을 학습하는 데 필요한 계산 복잡도는 입력 길이에 대해 이차적으로 증가한다. 따라서 긴 시퀀스를 사용하는 대규모 Transformer의 학습을 가속하기 위해서는 Transformer 학습 과정 전반을 지배하는 다중 헤드 어텐션(multi-head attention) 연산에 필요한 연산 횟수를 줄이는 것이 핵심이다. 기존의 접근법들은 관심 점수(attention score) 행렬에서 중요 요소를 정적으로 선택함으로써 학습 전에 다중 헤드 어텐션을 희소화(sparsify)하고자 하였다. 그러나 관심 점수 행렬에서의 중요 요소는 서로 다른 모델 과제와 데이터셋에 따라 달라질 수 있으므로, 더 나은 모델 품질을 달성하기 위해서는 중요 요소를 동적으로 고려하는 것이 필수적이다. 본 논문에서는 표준 Transformer 학습을 소수 단계 수행하는 동안 관심 점수 행렬에서 과제 및 입력 의존적인 희소성 패턴을 포착하는 새로운 희소성 인지(sparsity-aware) Transformer를 제안한다. 이후 확인된 희소성 패턴은 관심 점수 행렬의 비대칭도(skewness) 정도 및 거리(distance) 값을 기반으로 표준 학습에서 희소 학습(sparse training)으로 전이된다. 실험 결과, 본 접근법은 다중 헤드 어텐션 연산에서의 연산 횟수를 유의미하게 감소시켜 학습 속도를 최대 $2.84\times$ 만큼 향상시키고, 메모리를 $6.87\times$ 만큼 감소시키며, 최신의 희소 Transformer 모델에 비해 더 나은 정확도를 달성함을 보여준다.

온라인 머신러닝(ML) 기반 스트리밍 처리 시스템(SPS)은 실시간 스트림 처리와 동시 모델 학습 및 추론을 통해 연속적이고 점진적인 학습을 결합한다. 본 시스템은 대규모의 동적이며 고속의 데이터 스트림을 처리하는 동시에 시간이 지남에 따라 성능을 향상시키도록 모델을 적응시킨다. 그러나 지연(latency)과 에너지 효율성 간의 트레이드오프 균형을 맞추는 문제는 여전히 핵심적인 과제로 남아 있으며, 선행 연구에서는 충분히 다루어지지 않았다. 본 논문에서는 온라인 ML 기반 SPS에서 전력 소모와 지연을 공동 최적화하기 위해 설계된 새로운 프레임워크인 EQUILIBRIA를 제안한다. EQUILIBRIA는 동적 전압 및 주파수 스케일링(DVFS)과 두 가지 혁신적인 에너지 최적화 전략을 통합한다. 첫째, 파레토(Pareto) 기반 클럭 주파수 조정 메커니즘을 통해 코어와 메모리 클럭 주파수를 모두 동적으로 튜닝하여 에너지 소비를 최소화하면서도 지연을 감소시킨다. 둘째, 정확도 요구사항을 충족한 이후에는 지연을 보존한 채로 주기적으로 모델 학습을 일시 중지하고 재개하는 2단계(threshold) 훈련 관리 기법을 통해 에너지 사용을 최적화한다. 다양한 쿼리와 트래픽 시나리오에 대한 실험 평가 결과, EQUILIBRIA는 지연을 손상시키지 않으면서 최대 58%의 에너지 절감 효과를 달성함을 보여주었으며, 빠르게 변화하는 현대적 데이터 환경에서 에너지 효율적 고성능 스트리밍 분석을 구현하는 데 있어 중요한 진전을 제공한다.

연산자(operator) 수준에서 질의를 최적의 컴퓨팅 장치에 매핑하는 작업은 이종 컴퓨팅 자원을 갖는 스트림 처리 시스템(SPS)에서 중요한 과제로 제기된다. 비효율적인 질의 매핑은 SPS의 성능을 저하시킬 수 있다. 이러한 문제를 해결하기 위해 기존 접근법은 모든 질의를 CPUs 또는 GPUs 중 하나로 매핑하는 정적 방법이나, 사전에 정해진 장치 선호도에 따라 질의 또는 연산자에 대한 정적 매핑 테이블을 유지하는 방식과 같은 정적 기법을 사용한다. 그러나 정적 매핑 방식은 최적의 해를 제공하지 못하는데, 서로 다른 질의 연산자에 대한 장치 선호도가 런타임 동안 동적으로 변화하기 때문이다. 본 논문에서는 연산자 수준에서 질의를 장치에 동적으로 매핑하는 고성능 SPS인 DynO를 제안한다. DynO는 질의 연산자들에 대한 최적화된 장치 매핑 계획을 효과적으로 도출하기 위해 모든 가능한 매핑 계획 조합에 대한 실행 시간을 정확히 예측하기 위해 트리 기반 그래디언트 부스팅 모델을 사용한다. 또한 DynO는 스트림 처리에서의 성능을 최대화하기 위해 트리 기반 그래디언트 부스팅 모델을 학습하는 과정에서 사용하는 새로운 턴 기반 업데이트 스킴을 도입한다. 더 나아가 우리는 직접 비순환 그래프(DAG) 최단 경로 알고리즘을 활용함으로써 최적 장치 매핑 계획을 결정하는 과정을 가속하는 효율적인 장치 매핑 스킴을 설계한다. DynO는 최적 계획을 찾기 위해 추가로 필요한 연산으로 인해 발생하는 어떠한 오버헤드도 프리페칭(prefetching)과 GPU 유휴 시간 활용을 통해 완전히 은폐한다. 다양한 질의와 트래픽 패턴을 사용한 실험 결과는 DynO가 높은 처리량, 낮은 지연, 높은 효율성을 보장하면서 기존의 최신 기술 접근법을 능가함을 보여준다.