분산 DNN 추론 라우팅·분할·앙상블 최적화 연구

Optimization for Distributed DNN Inference Routing, Splitting, and Ensembling

연구 내용

분산 컴퓨팅 네트워크에서 DNN 추론 작업을 그래프 모델과 최적화 기법으로 노드 및 경로에 배치해 종단 지연을 최소화하는 연구

유비쿼터스 AI를 위해 단말의 제한된 연산 자원 문제를 분산 컴퓨팅 네트워크로 전환하고, DNN 추론 작업의 계산 배치와 데이터 전송 경로를 함께 결정합니다. 계층형 그래프 모델을 구성해 단순 라우팅에 의한 작업 분배로 문제를 정식화하고, 분할 기반 추론 배치의 수치적 특성을 개선하는 프레임워크를 제안합니다. 또한 지연 시간 제약을 포함해 분산된 DNN 모델 조합을 선택하고 경로까지 산출하는 MILP 기반 접근을 통해 앙상블 정확도와 지연을 동시에 만족시키는 차별성을 보유합니다.

관련 프로젝트

1건

연구 흐름

초기 연구는 DNN 추론 작업을 네트워크 노드와 경로에 할당하는 문제를 계층형 그래프 모델로 구성하여, 기존 라우팅 개념으로도 종단 지연을 낮추는 방향을 제시했습니다. 이후 분할 기반 추론 배치 문제를 새로운 최적화 관점에서 재구성하여 계산 노드 선택과 데이터 경로 선택을 결합하는 프레임워크로 확장했습니다. 최근에는 분산된 DNN 모델의 조합을 지연 제약 하에서 선택하고 경로를 결정하는 MILP 기반 앙상블 최적화로 심화되었으며, 컴퓨팅 자원 할당과 심층신경망 임베딩을 포함하는 연구 과제로 연결되었습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

지연 시간 기반 DNN 오프로딩 스케줄러
그래프 모델 기반 추론 라우팅 엔진
DNN 분할 플래너 및 배치 도구
MILP 기반 앙상블 경로 최적화
네트워크 자원 할당 제어 로직
6G 유비쿼터스 AI 서비스 배치 알고리즘
엣지-클라우드 추론 작업 분배 모듈
서비스 품질(QoS) 지연 보장 매커니즘
분산 AI 인프라 운영 정책
분산 추론 성능 모니터링 체계