검색-강화 생성(Retrieval-Augmented Generation, RAG)은 외부 소스에서 추출한 적절한 문맥을 주입함으로써 대규모 언어 모델의 품질을 향상시키는 데 중요하다. RAG는 수십억 스케일의 벡터 데이터베이스에 대해 고처리량, 저지연의 근사 최근접 이웃 검색(Approximate Nearest Neighbor Search, ANNS)을 요구한다. 기존의 DRAM/SSD 기반 솔루션은 용량/지연 한계에 직면하는 반면, 특화 하드웨어나 RDMA 클러스터는 유연성이 부족하거나 네트워크 오버헤드를 유발한다. 우리는 COSMOS를 제안하는데, 이는 CXL 메모리 장치 내에 범용 코어를 통합하여 전체 ANNS 오프로딩을 가능하게 하고, 메모리 대역폭을 최대화하기 위해 순위 수준(rank-level) 병렬 거리 계산을 도입한다. 또한 클러스터 간 근접성을 기반으로 CXL 장치 전반에 걸쳐 검색 부하를 균형 있게 분산하는 인접성 인지(adjacency-aware) 데이터 배치를 제안한다. SIFT1B 및 DEEP1B 트레이스에 대한 평가는 COSMOS가 기준 CXL 시스템 대비 최대 6.72배 높은 처리량을, 그리고 최신 수준의 CXL 기반 솔루션 대비 2.35배 높은 처리량을 달성함을 보여주어 RAG 파이프라인의 확장성을 입증한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.