본 연구에서는 하드웨어 설계 제약을 고려하는 두 가지 경쟁 목표, 즉 결과의 품질(QoR)과 서비스의 품질(QoS)을 함께 반영하는 미분 가능한 신경망 아키텍처 탐색(NAS) 방법을 제시한다. NAS 연구는 최근 수작업으로 설계된 모델보다 더 우수한 성능을 낼 수 있는 아키텍처 후보를 자동으로 찾아낼 수 있다는 점에서 많은 주목을 받았다. 그러나 실제 HW 설계 제약을 만족하는 NAS 접근은 상대적으로 덜 탐구되었다. 이를 위한 단순한 NAS 방식은 QoR과 QoS의 두 기준을 결합하여 최적화하는 것일 수 있으나, 선행 연구를 그대로 확장할 경우 종종 퇴화된 아키텍처가 생성되며 민감한 하이퍼파라미터 튜닝의 문제도 동반된다. 본 연구에서는 MDARTS(Multi-objective differential neural architecture search)라는 다목적 미분형 신경망 아키텍처 탐색을 제안한다. MDARTS는 탐색 시간이 부담스럽지 않으며, QoR 대 QoS의 파레토 전선(Pareto frontier)을 찾을 수 있다. 또한 소프트 연결이 이진화되는 최종 후처리(post-processed) 아키텍처와, 기존의 모든 미분형 NAS 결과 사이에 존재하는 문제적 간극을 규명한다. 이 간극은 모델을 배치·운용할 때 성능 저하를 초래한다. 이 간극을 완화하기 위해, 엔트로피를 암묵적으로 최소화함으로써 구성 요소 간 연결이 무한정 지속되는 것을 억제하는 분리 손실(separation loss)을 제안한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.