무선 네트워크를 통해 자원 제약이 있는 모바일 기기에서 엣지 서버로 신경망 추론을 오프로딩(offloading)하는 것은 신경망이 더 무거워질수록 점점 더 중요해지고 있다. 이를 위해 최근 연구들은 이러한 오프로딩 과정을 보다 효율적으로 만들고자 시도해 왔다. 그러나 추론 정확도를 저하시키지 않으면서도 필요한 최소한의 정보만을 추출하여 오프로딩하는 문제에 대한 가장 근본적인 질문은 여전히 답이 없었다. 우리는 이러한 이상적인 오프로딩을 의미론적 오프로딩(semantic offloading)이라 부르고, 의미론적 오프로딩을 가능하게 하여 변동이 심한, 혹은 심지어 저대역폭 무선 네트워크에서도 보다 신뢰할 수 있고 시의적절한 추론을 달성하는 새로운 오프로딩 프레임워크인 N-epitomizer를 제안한다. N-epitomizer를 구현하기 위해, 네트워크를 통한 추론에서 지연 및 정확도 요구사항을 만족하도록 출력 크기를 조절하면서 가장 유익한 데이터를 추출하도록 훈련된 자동인코더 기반의 확장 가능한 인코더를 설계한다. 또한 인코더 설계에는 경량 지식 증류(light-weight knowledge distillation)를 활용하고 디코더 설계에는 디코더 슬리밍(decoder slimming)을 적용함으로써 N-epitomizer를 가속하여 전체 연산 시간을 상당히 감소시킨다. 더 나아가, 각 DNN에 필요한 핵심 정보의 합집합(union)을 추출하여 오프로딩함으로써 N-epitomizer를 다중 DNN을 지원하도록 확장한다. 평가 결과, N-epitomizer는 추론 정확도를 손상시키지 않으면서 이미지에서 예외적으로 높은 압축을 달성하며, 이는 각각 JPEG 압축 대비 21 $\times$ , 77 $\times$ , 192 $\times$ 더 높은 압축률을 나타냈고, 또한 의미론적 분할, 깊이 추정, 분류 각각에 대해 DNN-aware 이미지 압축의 최신기법인 GRACE보다 20 $\times$ , 55 $\times$ , 86 $\times$ 더 높은 압축률을 보였다. 본 결과는 N-epitomizer가 변동이 매우 큰 셀룰러 네트워크에서도 종단 간(end-to-end) 지연을 보장하는 최초의 의미론적 오프로딩 시스템으로서 강력한 잠재력을 지님을 보여준다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.