네트워크 가지치기는 심층 신경망을 압축하기 위해 널리 대중화되었지만, 그로 인해 얻어지는 정확도는 종종 계산 비용이 많이 들고 원본 데이터를 필요로 하는 미세 조정 과정에 크게 의존한다. 그러나 실제 환경에서는 이러한 전제가 항상 성립하지 않을 수 있으며, 따라서 최근 몇몇 연구는 값비싼 재학습 과정 없이 가지치기된 네트워크를 복원하고자 한다. 이들의 강한 가정은 가지치기되는 각 뉴런이 자신과 상당히 유사한 다른 뉴런으로 대체될 수 있다는 것이다. 하지만 불행히도 이는 많은 신경망에서는 성립하지 않는데, 일부 층에서는 뉴런 간 유사성이 극도로 낮다. 본 논문에서는 미세 조정 없이, 데이터 없이 수행하는 방식으로 가지치기된 네트워크를 복원하기 위한 보다 엄밀하고 견고한 방법인 LBYL(Leave Before You Leave)을 제안한다. LBYL은 앞서의 가정을 상당히 완화하여, 가지치기된 각 뉴런이 보존된 가능한 한 다수의 뉴런에게 자신의 정보 조각을 남기도록 함으로써, 여러 뉴런이 함께 방금 떠난 뉴런의 원래 출력에 대한 보다 견고한 근사를 획득하도록 한다. 우리의 방법은 원래 네트워크와 그 근사 사이의 복원 오차를 어떻게 구성할지에 대한 이론적 분석에 기반하며, 이는 도출한 손실 함수에 대해 닫힌 형태의 해를 자연스럽게 이끌어낸다. 광범위한 실험을 통해 LBYL은 두 뉴런 간 유사성을 활용한 최근 접근법에 비해, 원래 네트워크를 근사하는 데 더 효과적이며 그 결과 복원된 네트워크에서 더 높은 정확도를 달성할 수 있음이 확인되었다. 이 연구의 최초 버전은 주요한 기술적 및 이론적 구성 요소를 포함하고 있으며 NeurIPS 2021과 ICML 2022에 각각 제출되었다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.