임베딩 계층(embedding layer)은 특히 추천 시스템과 그래프 신경망(graph neural networks)에서 심층 신경망의 가장 핵심적인 구성 요소들 중 하나이다. 임베딩 계층은 큰 메모리 요구량과 연산에서의 데이터 재사용이 거의 없다는 점 때문에 전체 실행 시간의 상당 부분을 지배한다. 임베딩 계층을 가속하기 위해, 듀얼 인라인 메모리 모듈(DIMM) 기반 near-data processing 아키텍처가 제안되었다. 이들은 DIMM의 버퍼에 처리 장치를 추가함으로써 대역폭을 증폭한다. 그러나 기존 아키텍처는 메모리 채널 수의 제한으로 인해 용량 확장성이 낮다. 결정적으로, 이들은 처리 장치와 호스트 사이에 멀티드롭 버스 구조가 있는 DIMM 기반 메모리 시스템의 제약과 로드 불균형(load imbalance) 문제로 인해 성능 향상에 한계가 있다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.