Dynamic Structure Pruning for Realistic CNN Acceleration
연구 내용
CNN의 intra-channel 수준에서 최적 가지치기 과립을 자동으로 탐색하여 실제 가속과 압축 효율을 동시에 개선하는 연구
구조 가지치기는 신경망의 연산량을 줄이고 가속 가능성을 높이는 방법입니다. 본 연구는 intra-channel 가지치기에서 기존 정적·수동 과립 설정이 갖는 탐색공간 제약을 개선하기 위해, 각 레이어에서 최적 가지치기 과립을 학습으로 결정하는 Dynamic Structure Pruning을 수행합니다. 이를 위해 필터 그룹에 대한 그라디언트 기반 학습을 활용하는 미분가능한 group learning 방식을 적용하고, 학습 중에 동적으로 과립을 조정합니다. 결과적으로 정확도 저하를 최소화하면서 연산량 감소를 목표로 합니다.
관련 연구 성과
관련 논문
2편
관련 특허
0건
관련 프로젝트
0건
연구 흐름
초기에는 CNN 구조 가지치기에서 필터·채널 단위 접근이 하드웨어 친화적이라는 점을 확인하고, 더 세밀한 intra-channel 수준으로 확장하는 연구 필요성을 도출했습니다. 이후 정적 과립 선택의 한계를 분석하여 탐색 비용과 성능 상한을 줄이는 동적 과립 학습으로 전환했습니다. 2023년에는 레이어별 최적 과립을 자동화하는 동적 구조 가지치기 방법을 제안하고, 실제 GPU 가속 관점에서 기존 channel pruning과 비교해 효율성을 높이는 방향으로 검증을 수행했습니다.
활용 가능성
활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.
관련 논문
구분
제목
Dynamic Structure Pruning for Compressing CNNs
Dynamic Structure Pruning for Compressing CNNs