딥러닝은 수많은 머신러닝 과제에서 탁월한 성능을 보여 왔지만, 딥러닝에서의 한 가지 실용적 장애물은 계산량과 필요 메모리가 매우 크다는 점이다. 모델 압축, 특히 딥러닝에서의 모델 압축은 모델 성능을 유지하면서 메모리를 절감하고 저장 용량을 줄일 수 있어 매우 유용하다. 계층적 네트워크 구조에서의 모델 압축은 계산 과정에서 불필요하다고 판단되는 가중치를 가지치기(pruning)하여 간선(edge)의 수를 줄이는 것을 목표로 한다. 그러나 기존의 가중치 가지치기 방법은 레이어별(layer-by-layer)로 감소를 수행하며, 이는 각 레이어에 대해 사전에 정의된 제거 비율(removal-ratio) 제약이 필요하다. 레이어별 제거 비율은 과제에 따라 구조적으로 지정되어야 하므로, 조정해야 할 매개변수의 수가 많아 훈련 시간이 급격히 증가한다. 따라서 이러한 레이어별 전략은 딥 레이어드 모델에서는 거의 실행 가능하지 않다. 본 연구에서 제안하는 방법은 구조적 특성에 대한 사전 지식 없이, 전체 모델에 대해 전역 제거 비율(global removal ratio)을 설정함으로써 유사한 성능을 산출하면서 딥 레이어드 네트워크에서 가중치 가지치기를 수행하고자 한다. 제안 방법에 대한 실험 결과는 레이어별 제거 비율의 필요성을 없애면서도 신뢰할 수 있고 고품질의 성능을 보여주었다. 또한 레이어 수를 증가시키는 실험에서는 가지치기된 가중치에서 패턴이 나타났으며, 이는 해당 레이어들의 구조적 중요성에 대한 통찰을 제공할 수 있다. MNIST 데이터로 LeNet-5 모델을 실험한 결과, 제안 방법은 98.8%의 더 높은 압축률을 달성하여 기존 가지치기 알고리즘을 능가하였다. Resnet-56 실험에서는 제거 비율 10–90%에 따른 성능 변화를 조사하였고, 다른 실험된 모델들에 비해 더 높은 제거 비율을 달성하였다. 또한 제안 방법의 효과는 상당한 계산을 필요로 하는 실제 객체 탐지 모델인 YOLOv4에서도 입증하였다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.