RnDCircle Logo
문의현 연구실
서강대학교 컴퓨터공학과 문의현 교수
GPU 커널 최적화
Tensor Cores
희소 행렬 연산(SpMM)
홈
연구 영역
기본 정보
논문·특허
과제
구성원
홈

문의현 연구실

서강대학교 컴퓨터공학과 문의현 교수

문의현 연구실은 컴퓨터공학 기반의 고성능 머신러닝 연구를 수행합니다. 분산/병렬 컴퓨팅과 분산 딥러닝을 위한 시스템 최적화에 초점을 두고, GPU 커널 최적화 및 공간 가속기 데이터플로 매핑을 분석·설계합니다. Tensor Cores를 활용한 희소 행렬 연산(SpMM)에서 데이터 국소성 확보와 부하 불균형 완화를 위한 커널 변환 기법을 개발합니다. 또한 Transformer 학습에서 어텐션 희소화로 연산과 메모리 요구를 줄이는 알고리즘과, 하이퍼그래프의 중요 관계를 동적으로 샘플링하는 표현 학습 프레임워크를 병행합니다.

GPU 커널 최적화Tensor Cores희소 행렬 연산(SpMM)분산 딥러닝병렬 컴퓨팅
대표 연구 분야
연구 영역 전체보기
분산/병렬 딥러닝 학습 가속을 위한 GPU 커널 및 공간 가속기 데이터플로 최적화 연구 thumbnail
분산/병렬 딥러닝 학습 가속을 위한 GPU 커널 및 공간 가속기 데이터플로 최적화 연구
GPU Kernel and Spatial Accelerator Dataflow Optimization for Distributed/Parallel Deep Learning Trai
연구 분야 상세보기
Tensor Cores 기반 희소 행렬 연산 최적화(SpMM) 연구 thumbnail
Tensor Cores 기반 희소 행렬 연산 최적화(SpMM) 연구
Tensor Cores-Driven Sparse Matrix Multiplication Optimization (SpMM)
연구 분야 상세보기
Transformer의 레이어별/입력의존 희소 학습 및 멀티레이어 하이퍼그래프 표현 학습 연구 thumbnail
Transformer의 레이어별/입력의존 희소 학습 및 멀티레이어 하이퍼그래프 표현 학습 연구
Layer-wise/Input-dependent Sparse Transformer Training and Multi-level Hypergraph Representation Lea
연구 분야 상세보기
연구 성과 추이
표시된 성과는 수집된 데이터 기준으로 산출되며, 일부 차이가 있을 수 있습니다.
주요 논문
5
논문 전체보기
1
Article
|
인용수 0
·
2025
D-HAT: Dynamic Hypergraph Representation Learning with Attention-Based Multi-Level Hypergraph Sampling
Ah-hyun Lee, Gordon Euhyun Moon
하이퍼그래프 신경망(Hypergraph Neural Networks, HNNs)은 그래프 구조 데이터에서 고차 상호작용을 활용하여 다양한 응용 분야에 걸쳐 효과적인 표현 학습을 가능하게 한다. 전체 하이퍼그래프에 불필요한 관계가 포함되는 문제로 인해, 표현의 질을 보존하면서 부분구조를 효율적으로 포착하는 하이퍼그래프 샘플링 방법을 채택하는 것이 중요하다. 그러나 노드 또는 하이퍼엣지만을 대상으로 하는 기존 하이퍼그래프 샘플링 방법은 샘플링의 무작위성과 정적인 계산용 부분 하이퍼그래프 사용으로 인해 부분그래프 단절 문제가 발생하고 노드 중요도가 간과되는 한계가 있다. 본 논문에서는 HNN 학습 과정에서 새로운 주의(attention) 기반 다단계 하이퍼그래프 샘플링 전략을 통해 대표적인 부분 하이퍼그래프를 동적으로 구성하는 하이퍼그래프 학습 프레임워크 D-HAT을 제안한다. 학습 중 부분 하이퍼그래프의 표현 품질을 향상시키고 유익한 이웃을 우선시하기 위해, 주의 기반 집계(attention-guided aggregation)와 조밀한 스킵 연결(dense skip connections)을 통합한 새로운 주의 기반 HNN을 개발하였다. 본 연구진의 지식으로는, 본 논문은 하이퍼그래프 표현 학습을 위해 다양한 하이퍼그래프 샘플링 방법을 정량적으로 비교한 최초의 연구이다. 실제 그래프 데이터셋에 대한 실험 결과는 D-HAT의 효과를 보여주며, 기존 하이퍼그래프 샘플링 방법에 비해 일관되게 더 높은 정확도를 달성함을 확인하였다.
https://doi.org/10.1145/3746252.3761102
Hypergraph
Sampling (signal processing)
Leverage (statistics)
Graph
Representation (politics)
Randomness
Node (physics)
2
Book chapter
|
·
인용수 4
·
2024
Accelerated Block-Sparsity-Aware Matrix Reordering for Leveraging Tensor Cores in Sparse Matrix-Multivector Multiplication
Eunji Lee, Yoonsang Han, Gordon Euhyun Moon
Lecture notes in computer science
https://doi.org/10.1007/978-3-031-69583-4_1
Multivector
Computer science
Matrix multiplication
Sparse matrix
Block (permutation group theory)
Matrix (chemical analysis)
Multiplication (music)
Tensor (intrinsic definition)
Parallel computing
Algebra over a field
3
Article
|
인용수 1
·
2024
Tensor Core-Adapted Sparse Matrix Multiplication for Accelerating Sparse Deep Neural Networks
Yoonsang Han, Inseo Kim, Jinsung Kim, Gordon Euhyun Moon
IF 2.6 (2024)
Electronics
희소 행렬-행렬 곱셈(SpMM)은 딥러닝 모델과 과학 컴퓨팅에서 필수적이다. 최근 GPU의 Tensor Core(TC)는 원래 혼합 정밀도를 사용하는 조밀 행렬 곱셈을 위해 설계되었으나, 그 중요성이 크게 부각되고 있다. 그러나 희소 행렬에서 0이 아닌 원소의 개수가 가변적이고 메모리 접근 패턴이 불규칙하기 때문에, SpMM에 TCs를 활용하는 것은 어렵다. 데이터 국소성(data locality)을 개선하기 위해 선행 연구에서는 곱셈 전에 희소 행렬을 재배열(reordering)하는 방법을 제안했지만, 이는 계산 오버헤드를 추가한다. 본 논문에서는 행렬 재배열 없이 CSR(Compressed Sparse Row) 형식을 사용하면서 TCs를 활용하는 Tensor Core-Adapted SpMM(TCA-SpMM)을 제안한다. TC 활용을 최적화하기 위해 SpMM 알고리즘의 내적(dot product) 연산을 블록드 행렬-행렬 곱셈(blocked matrix–matrix multiplication)으로 변환한다. 로드 불균형을 해결하고 데이터 이동을 최소화하는 것은 SpMM 커널을 최적화하는 데 핵심이다. 우리의 TCA-SpMM은 여러 행을 동시에 처리하기 위해 스레드 블록을 동적으로 할당하고, 데이터 이동을 줄이기 위해 공유 메모리를 효율적으로 사용한다. Deep Learning Matrix Collection 공개 데이터셋의 희소 행렬에 대한 성능 결과는 TCA-SpMM이 TCs를 최적화하여 구현된 최첨단 SpMM 구현 대비 최대 29.58×의 속도 향상을 달성함을 보여준다.
https://doi.org/10.3390/electronics13203981
Tensor (intrinsic definition)
Sparse matrix
Matrix multiplication
Multiplication (music)
Matrix (chemical analysis)
Computer science
Artificial neural network
Core (optical fiber)
Artificial intelligence
Mathematics
최신 정부 과제
7
과제 전체보기
1
2024년 8월-2027년 4월
|1,375,000,000원
대규모 머신러닝 가속화를 위한 고성능 계산-데이터 플랫폼 연구
○ 소프트웨어 기반 종단간 (End-to-End) 학습 시간 최적화 연구 필요성▷ 대규모 머신러닝/딥러닝은 아래와 같은 두 가지 단계/과정의 반복임 (1) (1단계) 대용량 데이터 저장소에서 학습을 위한 데이터를 클러스터 노드의 메모리에 적재하는 과정(2) (2단계) 적재된 데이터를 계산 자원(CPU, GPU, NPU)를 사용하여 학습/분석하는 과정 및 중...
대규모 모델
대용량 데이터
딥러닝 학습 최적화
분산 딥러닝
시스템 최적화
2
2024년 4월-2027년 3월
|819,153,000원
대규모 딥러닝 모델 초고속 처리를 위한 분산 학습 및 연합 학습 최적화 기술 개발
본 연구과제는 인공지능 분야의 첨단 이론과 고성능 컴퓨팅 분야의 최신 기술의 통합을 목표로 대규모 딥러닝 모델 초고속 처리를 위한 분산 학습과 연합 학습 최적화 기술을 개발하고자 함. 거대 딥러닝 모델의 학습 및 추론 성능 가속을 위해 공유 메모리 멀티프로세스 플랫폼 환경에서 NVIDIA의 Tensor Cores 가속기를 활용하여 데이터 이동 비용을 최소화...
분산 학습
연합 학습
딥러닝 커널 최적화
데이터 병렬 처리
MLIR 컴파일러
3
2023년 7월-2030년 12월
|3,774,960,000원
웹 3.0을 위한 오픈 플랫폼 기술 개발
연구개발 계획은 총 3단계로 진행 예정이며, 최종적으로는 웹 3.0 오픈 플랫폼 개발을 목표로함.
웹 3
블록체인
자기주권 인증
분산화된 리소스 큐레이션
메타버스
최신 특허
특허 전체보기
상태출원연도과제명출원번호상세정보
공개2024컨볼루션 필터를 이용한 트랜스포머 모델의 어텐션 연산 희소화 방법 및 장치1020240079391
공개2024사용자 소셜 정보를 이용한 트랜스포머 모델 기반의 추천 시스템1020240027590
공개2024Non-IID 데이터를 갖는 클라이언트의 이질성을 교정하는 연합 학습 시스템1020240027596
전체 특허

컨볼루션 필터를 이용한 트랜스포머 모델의 어텐션 연산 희소화 방법 및 장치

상태
공개
출원연도
2024
출원번호
1020240079391

사용자 소셜 정보를 이용한 트랜스포머 모델 기반의 추천 시스템

상태
공개
출원연도
2024
출원번호
1020240027590

Non-IID 데이터를 갖는 클라이언트의 이질성을 교정하는 연합 학습 시스템

상태
공개
출원연도
2024
출원번호
1020240027596