최신 대규모 AI모델의 연산을 가속하기 위한 HBM-PIM의 하드웨어-소프트웨어 통합 시스템을 개발하고 Full Stack 플랫폼에서 연산 성능을 평가함
메모리 내 연산
고대역폭 메모리
인공지능
대규모 언어 모델
인공지능 반도체
2
2025년 3월-2029년 12월
|3,171,700,000원
동형암호 기반 K-클라우드 전용 Privacy Preserving AI 통합시스템 개발
> (배경) 클라우드는 특성상 외부와 접속이 빈번하고 다양한 내부자가 데이터에 접근할수 있어 해킹과 보안에 취약함. 정부와 산업체에서 안전하게 클라우드를 활용할수 있도록 안전성을 획기적으로 올리는 방안이 요구됨.> (최종 목표) 본 과제에서는 동형암호 기반 Privacy Preserving AI (PPAI) 통합시스템 개발을 제안함. PPAI 시스템에서는 ...
인공지능
인공지능 가속기
클라우드
동형암호
데이터 프라이버시
3
2025년 3월-2028년 12월
|1,014,000,000원
서버급 DRAM 적층 기반 초거대 모델 향 PIM 가속 솔루션 개발
최신 대규모 AI모델의 연산을 가속하기 위한 HBM-PIM의 하드웨어-소프트웨어 통합 시스템을 개발하고 Full Stack 플랫폼에서 연산 성능을 평가함
메모리 내 연산
고대역폭 메모리
인공지능
대규모 언어 모델
인공지능 반도체
4
2025년 3월-2029년 12월
|4,221,800,000원
동형암호 기반 K-클라우드 전용 Privacy Preserving AI 통합시스템 개발
> (배경) 클라우드는 특성상 외부와 접속이 빈번하고 다양한 내부자가 데이터에 접근할수 있어 해킹과 보안에 취약함. 정부와 산업체에서 안전하게 클라우드를 활용할수 있도록 안전성을 획기적으로 올리는 방안이 요구됨.> (최종 목표) 본 과제에서는 동형암호 기반 Privacy Preserving AI (PPAI) 통합시스템 개발을 제안함. PPAI 시스템에서는 ...
인공지능
인공지능 가속기
클라우드
동형암호
데이터 프라이버시
5
주관|
2022년 5월-2024년 2월
|57,878,000원
프로세싱-인-메모리의 표준화 가능 인터페이스 연구
[표준화 가능한 원자적인 PIM 명령어 제안]
기존 JEDEC 표준에 존재하는 RFU (Reserved for Future Use) 명령어를 하나의 원자적인 PIM 명령어로 사용하여 PIM 연산 및 DRAM 상태 복구까지 한 번에 수행하도록 하고, 이 명령어를 일반적인 다른 명령어들과 같이 스케쥴링 되도록 함. 이 명령어는 refresh 명령어와 유사하게, 메모리 컨트롤러가 PIM 내부 연산 상황을 알 필요 없고 주어진 시간이 지나면 자신이 알고 있는 DRAM 상태로 복귀되는 것이 보장되기 때문에 스케쥴링의 복잡성을 낮춤. 또한, 메모리 컨트롤러는 해당 명령어만 전달하고 실질적인 PIM의 동작은 PIM 내부에서 제어하기 때문에, 여러 서로 다른 PIM 아키텍처에서 PIM 내부 제어만 다르게 설계한다면 공통적인 인터페이스로 사용 가능함. 이러한 특징은 하나의 표준화된 PIM 인터페이스 제공을 가능하게 함.
[PIM instruction을 전달 방법]
PIM 연산을 위해서는 피연산자가 저장되어 있는 DRAM row/column 정보, 또 다른 피연산자가 저장되어 있는 register 정보 등이 함께 전달되어야 하는데 RFU 명령어 하나로는 해당 정보들을 모두 실어 보내기 어려움. 본 연구에서는 PIM 명령어 전달에 앞서 프로그래밍된 PIM instruction들(피연산자의 주소 혹은 인덱스 포함)을 각 DRAM 내부 PIM 연산 유닛에 써주고, PIM 명령어에는 수행하고자 하는 PIM instruction들의 인덱스나 규칙 등의 정보를 실어 보냄으로써 이러한 문제를 해결함. PIM instruction들이 저장될 register의 크기, PIM instruction에 실어 보내는 인코딩 방법에 대한 설계 공간 탐구를 하여 효율적인 전달 방법을 연구함.
[PIM 명령어 시간 파라미터 값 설정]
하나의 원자적인 PIM 명령어가 수행하는 동작은 PIM 연산을 위한 준비(ACT), DRAM 셀로부터 데이터를 읽어 PIM 연산 수행, PIM 연산 이전으로의 상태 복귀(PRE)를 포함함. 하나의 명령어를 통해 몇 번의 연산을 수행하느냐에 따라 필요한 시간 파라미터 값이 달라지며, 이 값이 작을 경우 스케쥴링에는 용이하지만 ACT/PRE 대비 데이터를 읽어 연산하는 횟수가 적어지기 때문에 효율이 떨어짐. 반대로 시간 파라미터 값이 커지면 PIM의 연산 효율은 증가하지만, 일반 메모리 요청의 지연시간이 크게 증가하게 됨. 따라서 본 연구에서는 이러한 트레이드-오프 관계를 분석하고 최적의 파라미터 값을 설정하고자 함.
[PIM 명령어 스케쥴링 방법]
Refresh 명령어는 주기적으로 보내지는 명령어이기 때문에 다른 명령어와의 스케쥴링 방법이 복잡하지 않지만, PIM 명령어의 경우 필요한 연산 수에 비례하여 명령어가 발행될 것이기 때문에 다른 명령어 사이에서의 스케쥴링이 중요해짐. PIM 명령어 발행에 앞서 모든 DRAM bank의 상태를 PRE로 맞추어줘야 하기 때문에 잦은 PIM 명령어와 일반 명령어의 인터리빙은 DRAM 사용 측면에서 매우 비효율적임. 하지만 너무 많은 PIM 명령어를 연속적으로 처리하게 되면 일반 메모리 요청의 지연시간이 크게 증가하는 문제가 있음. 따라서, 기존의 여러가지 범용 메모리 스케쥴링 기법들을 탐구하고, 이들 사이에서 최적의 성능을 내는 스케쥴링 방법 탐구, 그리고 이를 개선한 방법론을 제시하고자 함.
[시뮬레이터를 사용한 성능 평가]
PIM 디바이스 및 인터페이스를 실제로 시스템에 적용하는 것은 현실적으로 어렵게 때문에 컴퓨터 시스템 시뮬레이터를 활용한 분석을 수행하고자 함. DRAM의 동작을 모사하는 Ramulator, DRAMSim 등의 시뮬레이터에 본 과제에서 사용하는 PIM 구조, 그리고 제안하는 PIM 인터페이스를 추가함으로써 성능을 평가할 예정임.