Transformer의 레이어별/입력의존 희소 학습 및 멀티레이어 하이퍼그래프 표현 학습 연구

Layer-wise/Input-dependent Sparse Transformer Training and Multi-level Hypergraph Representation Learning

연구 내용

Transformer의 어텐션 계산을 희소 패턴으로 줄이고 학습 단계에서 품질을 유지하는 동시에 하이퍼그래프에서 중요 관계를 샘플링해 표현을 학습하는 연구

Transformer 학습에서는 입력 길이가 증가할수록 멀티헤드 어텐션 계산이 지배적으로 커집니다. 본 연구는 어텐션 스코어 행렬의 치우침과 거리 특성을 기반으로 희소 패턴을 짧은 스텝 동안 식별하고, 이를 표준 학습에서 전이하여 희소 학습을 수행하는 구조를 개발합니다. 또한 convolution 필터와 flood filling을 결합해 레이어별로 다른 희소 패턴을 효율적으로 포착하여 학습 시 연산량과 메모리 사용을 함께 낮추는 방향을 다룹니다. 아울러 Hypergraph Neural Networks에서는 주의를 기반으로 학습 중 대표 서브 하이퍼그래프를 다단계로 동적으로 구성하는 D-HAT 프레임워크를 통해 노드 중요도와 불필요 관계를 함께 관리합니다.

관련 프로젝트

2건

연구 흐름

2023~2024년에는 Transformer의 학습 비용을 줄이기 위해 레이어별 희소 패턴을 convolution flood filling으로 구성하는 접근을 제안하고, GPU에서 효율 구현을 위한 알고리즘 개발을 수행했습니다. 2024년에는 어텐션 스코어의 작업·입력 의존성을 반영해 짧은 단계의 식별 후 희소 학습으로 전이하는 방식으로 확장하여 어텐션 연산 감소와 메모리 절감을 동시에 목표로 했습니다. 2025년에는 시각화·분석이 필요한 관계 데이터에 대해 하이퍼그래프에서 주의 기반 멀티레벨 샘플링으로 동적 서브 하이퍼그래프를 구성하는 표현 학습 연구로 범위를 확장했습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

긴 시퀀스 Transformer 학습 가속
어텐션 희소화 기반 연산 감소
메모리 사용량 절감 학습
레이어별 희소 패턴 설계
입력 의존 희소 패턴 전이
GPU 희소 어텐션 구현
하이퍼그래프 표현 학습
주의 기반 서브 하이퍼그래프 샘플링
관계 데이터 분류·회귀
분산 학습 적용을 위한 효율화