프로세싱 인 메모리(PIM) 기반 3D 집적 인공지능 가속기

3D Integrated Processing-in-Memory (PIM) AI Accelerators

연구 내용

프로세싱 인 메모리 및 3D 집적 구조를 활용하여 메모리 병목을 완화하고 LLM·CNN 연산을 저전력·저지연으로 수행하는 인공지능 가속기 연구

본 분야는 대규모 모델의 실행에서 메모리 용량과 데이터 이동이 병목이 되는 문제를 해결하기 위해 PIM 아키텍처를 설계하는 연구입니다. 3D NAND flash 또는 SRAM·eDRAM 기반 PIM에서 연산을 수행하도록 데이터 배치와 타일링을 최적화하고, 층 단위로 매핑을 재구성하여 단일 배치 토큰 생성과 CNN 추론을 효율화합니다. 또한 H-tree 등 네트워크 구조를 포함한 배열 재설계로 지연과 셀 밀도를 함께 고려합니다.

관련 프로젝트

5건

연구 흐름

초기에는 PIM 배열과 연산 구조를 분해하여 단일 배치 추론에서 필요한 데이터 흐름과 지연 요인을 분석하고, 층 단위 매핑 규칙을 정립하는 데 집중하였습니다. 이후 3D NAND flash 및 3D vertical computing-in-memory 플랫폼으로 확장하여 배열 크기 선택, 타일링 및 매핑 방법을 구체화하고, 실제 추론 동작 관점에서 에너지 효율과 지연을 함께 개선했습니다. 최근에는 LLM 실행에서 토큰 생성 단계의 오프로드를 목표로 아키텍처 재구성과 네트워크 배치까지 포함하는 방향으로 연구를 수행하고 있습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

LLM 단일 배치 토큰 생성 가속
메모리 벽 완화형 엣지 추론
3D NAND PIM 가속기 설계
SRAM·eDRAM 이종 PIM 동시 연산
지연 최적화용 매핑 프레임워크
다층 DNN 타일링 및 오프로드 스케줄링
실리콘 면적 기반 아키텍처 탐색
테스트칩 기반 PIM 검증 체계
에너지 스케일러블 CNN 추론
인-스토리지 연산 컴퓨팅 플랫폼