데이터 집약적 작업의 급속한 증가와 저장 장치에 서로 다른 하드웨어가 사용됨에 따라, 데이터센터의 운영 비용 효율을 개선하기 위해 분산형 저장(disaggregated storage) 아키텍처 시스템이 활용되고 있다. 분산형 저장 시스템의 하드웨어 이질성 및 혼합 구성과 더불어 다양한 워크로드의 존재는, 관리자들이 이를 최적으로 운영하는 데 어려움을 야기하는 경우가 많다. 본 연구에서는 셀프 관리형 저장 시스템에서 다양한 시스템 설정과 워크로드 전반에 걸쳐 저장 성능을 유지하면서 자동화된 시스템 운영을 개발하기 위한 모델 기반 강화학습(RL) 기법을 조사한다. 구체적으로, 시스템 환경을 저장 장치의 2계층 계층구조와 플랫폼의 관점에서 추상화하여, 주어진 시스템 사양에 따라 환경을 재구성할 수 있는 새로운 구성 가능(configurable) 모델 구조를 제안한다. 이러한 새로운 모델 구조를 기반으로, 우리는 CoMoRL이라는 구성 가능 모델 기반 RL 프레임워크를 구현하였으며, RL 에이전트는 다양한 저장 시스템 사양을 나타내는 모델 변형(model variants)을 통해 학습된다. 따라서 실제 저장 시스템의 다양한 운영 조건에 대해 학습된 관리 정책은 높은 강인성을 가질 수 있다. 우리는 NVMe-oF 장치에 의존하는 저장 클러스터를 사용하여 CoMoRL 프레임워크를 평가하고, Kubernetes의 볼륨 배치(volume placement) 시나리오와 Ceph의 주(prim ary) 애피니티(primary affinity) 제어 시나리오 등 서로 다른 시나리오에 프레임워크가 적응 가능함을 보여준다. 학습된 관리 정책은 모델 및 정책의 재학습 없이도, 다양한 Kubernetes 시스템 사양에 대해서는 IOPS 기반 휴리스틱 방법 대비 0.7%~5.1%, 모델 기반 방법 대비 11.8%~29.7% 더 우수하며, 다양한 Ceph 시스템 사양에 대해서는 각각 1.6%~5.6% 및 8.2%~16.5% 더 우수하다. 본 프레임워크의 제로샷(zero-shot) 적응 우수성은, 시스템 변경이 빈번한 데이터센터에서 RL 기반 셀프 관리형 저장 시스템을 구현할 수 있게 한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.