Processing-in-Memory and Near-Data Processing for AI
연구 내용
DRAM/HBM/LPDDR5 메모리 구조에서 연산 유닛을 근접 배치하고, CPU와의 협업 및 데이터 매핑을 최적화하여 AI 추론 및 그래프 연산의 병목을 줄이는 연구
DRAM/HBM/LPDDR5 기반 메모리에서 대역폭 병목이 발생하는 AI 연산을 대상으로, 메모리 내부 동작과 호스트 프로세서의 처리 흐름을 함께 설계하는 연구를 수행합니다. 그래프 신경망의 집계 단계처럼 캐시 용량을 초과하고 희소 데이터 접근이 많은 구간은 DRAM datapath 근처에서 연산을 배치하여 메인 메모리 접근을 줄입니다. 또한 PIM 명령어와 데이터 경로의 순서 제약을 반영해 FPGA 제어 코드, DMA, 버퍼 경로 분리, adaptive matrix mapping 같은 기법으로 계층별 성능을 맞춥니다. 더불어 DRAM ACT/PRE 및 메모리 배리어 배치 최적화로 PIM 처리량을 개선하고, 장치 호환 인터페이스와 표준화 가능 프로토콜을 함께 다룹니다.
관련 연구 성과
관련 논문
6편
관련 특허
0건
관련 프로젝트
5건
연구 흐름
초기에는 PIM-HBM 환경에서 GEMV 중심 연산을 메모리 내부로 오프로딩하기 위한 하드웨어 구현 방향을 정리하고, FPGA의 재구성 가능성과 DMA를 활용해 메모리 명령 순서 제약을 만족하는 제어 방식을 확보했습니다. 이후에는 그래프 신경망 집계 연산을 대상으로 DRAM rank 매핑을 계층별로 달리 적용하는 구조를 제안하고, adjacency 데이터 전송과 feature 재사용을 위한 브로드캐스팅 및 리틸링 최적화를 확장했습니다. 최근에는 CPU-PIM 협업을 위한 호환 프로토콜을 정의하고, LPDDR5 온디바이스 SLM 추론을 위한 비용 효율 구조와 GEMV 타일링 기법을 제시했습니다. 마지막으로 DRAM 마이크로 아키텍처 관점에서 명령어 순서와 데이터 매핑, 배리어 배치를 조정해 HBM-PIM 처리량을 개선하는 연구로 이어지고 있습니다.
활용 가능성
활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.
관련 논문
구분
제목
An FPGA-based RNN-T Inference Accelerator with PIM-HBM
GraNDe: Near-Data Processing Architecture With Adaptive Matrix Mapping for Graph Convolutional Networks
GraNDe: Efficient Near-Data Processing Architecture for Graph Neural Networks
Architecting Compatible PIM Protocol for CPU-PIM Collaboration
Fold-PIM: A Cost-Efficient LPDDR5-Based PIM for On-Device SLMs
Optimizing HBM-PIM Throughput through DRAM ACT and PRE Hiding
관련 프로젝트
구분
제목
동형암호 기반 K-클라우드 전용 Privacy Preserving AI 통합시스템 개발
서버급 DRAM 적층 기반 초거대 모델 향 PIM 가속 솔루션 개발
동형암호 기반 K-클라우드 전용 Privacy Preserving AI 통합시스템 개발
서버급 DRAM 적층 기반 초거대 모델 향 PIM 가속 솔루션 개발
프로세싱-인-메모리의 표준화 가능 인터페이스 연구