모델의 크기가 증가할수록, 심층 신경망(DNN)을 사용하여 예측을 수행하는 일은 계산 비용이 점점 더 커지고 있다. 멀티-엑싯 신경망(multi-exit neural network)은 초기 종료(early exits)를 통해, 실제로 시간에 따라 변동할 수 있는 현재 테스트 시 예산(test-time budget)에 맞추어 유연하게 anytime 예측을 수행할 수 있는 유망한 해결책이다(예: 속도가 동적으로 변하는 자율주행차). 그러나 초기 엑싯에서의 예측 성능은 일반적으로 최종 엑싯에 비해 훨씬 낮으며, 이는 테스트 시 예산이 타이트한 저지연(low-latency) 응용에서 중대한 문제가 된다. 모든 엑싯의 손실을 동시에 최소화하도록 각 블록을 최적화하는 선행 연구들과 비교하여, 본 연구에서는 개별 블록에 서로 다른 목표를 전략적으로 부여하는 방식으로 멀티-엑싯 신경망을 학습하기 위한 새로운 방법을 제안한다. 제안한 아이디어는 그룹화 및 중첩(overlapping) 전략에 기반하여, 이후 엑싯의 성능을 저하시키지 않으면서 초기 엑싯에서의 예측 성능을 향상시킨다. 이로써 본 설계는 저지연 응용에 더욱 적합해진다. 이미지 분류와 의미 분할(semantic segmentation) 모두에 대해 수행한 광범위한 실험 결과는 본 접근법의 우수성을 확인해 준다. 제안한 아이디어는 모델 아키텍처의 어떠한 수정도 필요로 하지 않으며, 멀티-엑싯 신경망의 성능을 향상시키기 위해 기존에 사용되는 전략들과 손쉽게 결합될 수 있다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.