분산 스케줄링과 비동기 I/O 계층 최적화
Distributed Scheduling and Workload-Adaptive Asynchronous I/O Optimization
연구 내용
분산 서버 환경에서 QoS를 만족하면서 스케줄링 오버헤드와 자원 낭비를 줄이기 위한 적응형 자원 스케줄링 및 비동기 I/O 계층 최적화 연구
분산 시스템에서 작업 특성에 따른 자원 배치와 I/O 처리 방식을 함께 최적화하는 연구를 수행합니다. 먼저 오프라인 프로파일링 기반의 가중치 추정으로 지연 민감 작업의 최소 자원 요구를 산정하고, 최적 할당 전략을 사전에 결정하여 실시간 자원 조정 오버헤드를 줄입니다. 또한 CPU-GPU 이종 환경에서는 실시간 자원 모니터링으로 경쟁 상태를 감지하고 작업 마이그레이션을 수행하여 처리 시간을 단축하고 효율을 유지합니다. 아울러 io_uring의 모드 특성에 따른 성능 저하를 완화하기 위해 사용자 투명한 workload-adaptive 비동기 I/O 계층을 설계하며, ZFS 기반 Lustre 파일시스템의 I/O 성능을 가속하는 방향으로 시스템 레벨 성능 개선을 추진합니다.
관련 연구 성과
관련 논문
4편
관련 특허
0건
관련 프로젝트
3건
연구 흐름
초기에는 ZFS 기반 Lustre 환경에서 파일시스템 I/O 성능 병목을 분석하고 분산 스토리지 경로에서의 개선 방향을 도출하는 연구를 수행했습니다. 이후 분산 서버에서 지연 민감·최선형 태스크를 함께 고려하는 스케줄링으로 확장하여, 오프라인 프로파일링과 가중치 기반 Markov 체계를 활용해 QoS를 유지하면서 자원 사용을 최적화하는 방향으로 발전했습니다. 동시에 io_uring 기반 비동기 I/O가 workload에 따라 비효율이 발생하는 문제를 사용자 수준에서 완화하는 계층을 제안했습니다. 최근에는 CPU-GPU 이종 클러스터에서 실시간 경쟁을 추적하고 작업 마이그레이션을 포함한 동적 프레임워크로 성능·경쟁 완화의 통합 설계를 수행합니다. 이 흐름은 다중 GPU 환경에서의 스케줄링 및 연산 최적화 프로젝트와 연계되어 구체화되고 있습니다.
활용 가능성
활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.
- 지연 민감 서비스 성능 보장
- 작업 특성 기반 GPU-CPU 공동 스케줄링
- 사용자 투명 비동기 I/O 최적화
- 분산 스토리지 I/O 경로 튜닝
- 데이터 지역성 기반 작업 배치
- 실시간 경쟁 감지 및 마이그레이션
- 오프라인 프로파일링 자동화 파이프라인
- 서버 다중태스크 운영 최적화
- HPC 파일시스템 성능 개선
- 클라우드 자원 효율 운영 모델
관련 논문
구분
제목
Accelerating I/O performance of ZFS-based Lustre file system in HPC environment
Markov Chain-Based Resource-Efficient and QoS-Aware Scheduling for Latency-Critical and Best-Effort Tasks
HeteroScheduler: Dynamic Task Scheduling for CPU-GPU Optimization and Contention Mitigation in Cloud Data Centers
A2L: User-Transparent Workload-Adaptive Asynchronous I/O Layer (industry track)
관련 프로젝트
구분
제목
시스템 운영 최적화를 위한 내장형 컨포멀 예측 기반 시계열 멀티태스크 AI 모델
데이터 지역성을 고려한 다중 GPU 환경에서의 GPGPU 스케줄링 및 연산 최적화
데이터 지역성을 고려한 다중 GPU 환경에서의 GPGPU 스케줄링 및 연산 최적화