저DRAM·근접데이터처리 기반 DNN 임베딩 및 사진 저장 가속 연구

Near-data Processing and DRAM-Efficient Memory Systems for DNN Inference and Training

연구 내용

저용량 메모리 환경에서 DNN 임베딩과 사진 데이터 학습·추론을 가속하기 위해 근접데이터처리와 스케일러블 임베딩 메모리 구조를 개발하는 연구

본 연구는 스토리지 시스템과 컴퓨팅 자원을 결합해 DNN 성능 병목을 완화하는 방향을 수행합니다. 사진 저장 서버에서는 near-data processing을 통해 모델 분할과 데이터 병렬성을 활용하고, 서버 간 동기화 비용을 낮추면서 추론과 연속 학습을 가속합니다. 임베딩 기반 DNN에서는 대형 임베딩 레이어를 온전히 메모리에 상주시킬 수 없는 상황에서, FPGA 기반 확장 임베딩 메모리 모듈과 PCI Express 확장 구조로 호스트 전송량을 줄여 유효 대역폭을 개선합니다. 이를 통해 스토리지-근접 연산과 메모리 계층 최적화를 동시에 다루는 차별성이 있습니다.

관련 프로젝트

4건

연구 흐름

2022년에는 FPGA를 포함한 스케일러블 임베딩 메모리 모듈을 구성하고, PCIe 버스를 활용해 호스트 전송을 줄이는 SEMS 접근을 정리했습니다. 2024년에는 사진 저장 서버를 대상으로 근접데이터처리 엔진을 최적화해, 여러 스토리지 서버의 집합적 연산으로 추론 처리량과 학습 속도를 함께 개선하는 NDPipe로 확장했습니다. 이후에는 스토리지 인접 연산이 필요한 환경을 일반화하기 위해, 이기종 컴퓨팅과 데이터 주변 처리 관점의 MLOps 플랫폼 연구와 처리-인-메모리/인-스토리지 연산을 지원하는 반도체 공정 기반 개발 과제를 연계하는 흐름으로 이어집니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

사진 데이터용 분산 추론 파이프라인
저동기화 비용 연속 학습 구조
대형 임베딩 임계 메모리 완화
FPGA 기반 임베딩 접근 가속
PCIe 기반 스케일아웃 메모리 확장
스토리지 근접 연산 서비스
데이터 주변 처리용 재구성 가능한 시스템
in-storage 연산을 위한 경량 신경망 실행
특징 추출 기반 Feature store 가속
AI 시스템 운영을 위한 이기종 MLOps