DMA-Based PIM ISA and Runtime/Compiler Optimization
연구 내용
PIM 명령을 DMA 디스크립터와 연계하는 ISA, 주소모드, ONNX Runtime 추상화 및 컴파일 분석을 통해 PIM 오프로딩과 데이터 전송 오버헤드를 줄이는 연구
인메모리 연산을 실용화하려면 PIM 코드 오프로딩과 CPU-메모리 간 데이터 전송 오버헤드를 함께 줄이는 소프트웨어·아키텍처 통합이 필요합니다. 본 연구는 ONNX Runtime 기반 PIM 프레임워크 확장으로 사용자 관점의 실행 추상화를 제공하여 attention 기반 NLP 워크로드를 쉽게 매핑합니다. 또한 PISA-DMA는 DMA descriptor 하나를 PIM 명령의 커밋 단위로 보고, 단일 디스크립터에 opcode와 operand를 표현해 오프로드 오버헤드를 낮춥니다. 여기에 DMA 디스크립터 기반 in-DRAM PIM ISA를 위한 indexed 및 base-offset 레지스터 주소모드를 제안해 데이터 접근 비용을 줄이고 면적·전력 증가를 최소화합니다. 추가로 bounded DNN 활성함수에 대해 LUT 기반 회로를 낮은 오버헤드로 설계하여 벡터 ALU에서의 연산 효율을 보강합니다.
관련 연구 성과
관련 논문
4편
관련 특허
0건
관련 프로젝트
3건
연구 흐름
초기에는 ONNX Runtime 프레임워크를 PIM 기반 플랫폼으로 확장하여 다양한 PIM 연산에 대한 함수 추상화와 손쉬운 프로그래밍 경로를 확보했습니다. 이후에는 PIM 명령과 DMA 트랜잭션을 1:1로 대응시키는 PISA-DMA ISA를 제시하며 오프로드 오버헤드를 줄이는 방향으로 구체화했습니다. 동시에 DNN 커널 관점에서 LUT 기반 활성함수 구현을 통해 하드웨어 오버헤드를 낮추는 연구를 병행했습니다. 최근에는 DMA 디스크립터 기반 ISA에서 주소모드 레지스터화를 통해 전송·오프로딩 비용을 추가로 절감하는 성과를 도출했으며, 데이터 플로우 구조 기반 PIM의 실행 및 프로그래밍 모델 개발과 연결해 시스템 수준의 효율을 정리하고 있습니다.
활용 가능성
활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.
관련 논문
구분
제목
Extending the ONNX Runtime Framework for the Processing-in-Memory Execution
PISA-DMA: Processing-in-Memory Instruction Set Architecture Using DMA
Supporting Register-based Addressing Modes for in-DRAM PIM ISAs
Low-overhead inverted LUT design for bounded DNN activation functions on floating-point vector ALUs
관련 프로젝트
구분
제목
데이터 플로우 구조 기반 PIM의 실행 및 프로그래밍 모델 개발
데이터 플로우 구조 기반 PIM의 실행 및 프로그래밍 모델 개발
데이터 플로우 구조 기반 PIM의 실행 및 프로그래밍 모델 개발