분산 스토리지 자가 운영을 위한 모델 기반 강화학습 연구

Model-Based Reinforcement Learning for Disaggregated Storage System Management

연구 내용

하드웨어 이질성과 워크로드 다양성을 고려해 모델 기반 강화학습 정책을 구성하고 자가 운영 성능을 유지하는 연구

본 연구는 데이터 센터에서 disaggregated storage 구조의 하드웨어 이질성과 구성 변화로 인해 운영 최적화가 어려운 문제를 다룹니다. 두 수준 계층 구조로 스토리지 환경을 추상화한 configurable model structure를 이용해, 시스템 사양에 따라 환경이 재구성될 수 있도록 모델을 설계합니다. 이를 기반으로 CoMoRL 프레임워크에서 모델 변형을 통해 강화학습 에이전트를 학습하여, 정책 재학습 없이 다양한 구성 시나리오에 적응하는 zero-shot adaptation을 목표로 합니다. NVMe-oF 기반 스토리지 클러스터에서 Kubernetes 및 Ceph 연동 사례로 검증합니다.

관련 프로젝트

0건

연구 흐름

초기 연구는 2023년에 disaggregated storage 환경에서 구성 변화와 워크로드 다양성에 대응하기 위해 두 수준 계층 환경 추상화를 중심으로 시작했습니다. 이후 모델 변형을 통한 학습으로 정책의 견고성을 확보하고, Kubernetes 스케줄링과 Ceph affinity 제어 등 서로 다른 운영 시나리오로의 적응이 정책 재학습 없이 가능함을 실험으로 확인했습니다. 현재 단계에서는 관련 후속 프로젝트 데이터가 입력에 포함되지 않아, 단일 논문 기반 연구 궤적으로 정리했습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

분산 스토리지 운영 자동화
모델 기반 강화학습 제어
구성 가변 환경 추상화
정책의 제로샷 적응
Kubernetes 스케줄링 최적화
Ceph affinity 제어
성능 유지 전략
IOPS 기반 휴리스틱 대체
데이터센터 관리 에이전트
하드웨어 이질성 대응