기존의 가지치기(pruning) 방법은 희소 구조를 식별하기 위해 종종 가중치 중요도(weight importance)에 의존하지만, 일반적으로 훈련 과정에서 이 정보를 적응적으로 활용하지 않고 정적으로 적용한다. 본 연구에서는 순방향과 역방향 경로 모두에서 가중치의 중요도를 활용하여 희소 모델 구조를 동적으로 탐색하는 새로운 접근법인 M agnitude A ttention 기반 D ynamic P runing (MAP) 방법을 제안한다. 크기(magnitude) 기반 어텐션은 가중치의 크기를 연속적인 실수 값으로 정의함으로써, 중복(redundant) 네트워크에서 유효한 희소 네트워크로의 매끄러운 전환을 가능하게 하고 효율적인 탐색을 촉진한다. 또한 어텐션 메커니즘은 희소 네트워크 내에서 중요한 레이어에 대한 보다 효과적인 업데이트를 보장한다. 이후, 본 접근법은 탐색에서 활용(exploitation)으로 전환하여, 탐색된 구조에 따라 탐색 과정에서 확인된 핵심 가중치로 구성된 희소 모델만을 독점적으로 업데이트한다. 그 결과, 가지치기된 모델은 밀집(dense) 모델과 비교 가능한 성능을 달성할 뿐 아니라 CIFAR-10/100 및 ImageNet에서 이전 가지치기 방법들보다 더 우수한 성능을 보인다. • 우리는 새로운 크기 어텐션 기반 가지치기 방법(Section Section 4 )을 제안하고, 경쟁력 있는 최신 가지치기 방법과의 비교를 통해 그 효과를 입증한다(Section Section 5.2 ). • 우리는 크기 어텐션의 영향을 분석하고, 동적 가지치기(dynamic pruning)에서 적절한 마스크(mask) 또는 가중치(weighting) 스킴을 선택하는 것의 중요성에 대한 통찰을 제공한다(Section Section 5.3.1 ). • 우리는 동적 가지치기를 위한 탐색-활용 전략을 소개한다(Section Section 4 ). 특히, 본 접근법이 다른 정적 가지치기 방법들과 비교하여 매우 효과적인 결과를 산출함을 관찰하였다. 1 1 여기서 중요한 가중치만을 업데이트하는 접근을 정적 가지치기(static pruning)로 지칭하며, 이는 동적 가지치기(dynamic pruning) 개념과 대비된다(Lin et al., 2020 ; Guo et al., 2016).

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.