초기화 단계에서 신경망을 가지치기(pruning)하는 여러 방법들이 있다. 이러한 방법들은 각 가중치(weight)의 중요도를 신중히 산정하고, 중요하다고 판단되는 것만을 남기며 나머지는 가지치기한다. 그러나 후속 연구들은, 각 층(layer)에서 남아 있는 가중치의 수가 해당 층에서의 중요 가중치의 수와 동일하기만 하면, 무작위 가지치기(random pruning)도 유사한 성능을 낼 수 있음을 보여주었다. 가중치의 중요도를 무시하는 이러한 무작위 가지치기가, 특히 층 내부에서조차 중요도를 고려하지 않음에도 불구하고, 어떻게 비교 가능한 성능을 달성할 수 있는가? 본 연구에서는 이 질문에 대해 조명한다. 구체적으로, 층별로 남길 가중치의 수를 이와 같은 방식으로 설정하기만 하면, 가지치기 이후 다수의 중요한 가중치가 유지되는 경향이 있으며, 남아 있는 가중치들의 중요도 또한 높은 경향이 있음을 보인다. 이러한 통계적 이점은, 각 층에서 중요 가중치의 수와 동일한 수만큼 가중치를 유지하는 무작위 가지치기 방법을, 모든 층에 걸쳐 균일한 가지치기 비율(uniform pruning ratio)을 사용하는 다른 무작위 가지치기 방법과 비교함으로써 입증한다. 무작위성이 적용되어 중요한 가중치와 중요하지 않은 가중치를 선택적으로 구별할 수 없는 상황에서, 전자가 후자보다 우수하다는 점은 명확히 규명되어야 한다. 이를 위해 이론적 증명을 제시하며, 다양한 아키텍처와 데이터셋에서의 실험적 결과도 함께 보고한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.