동적 계획법 기반 신경망 깊이 압축 장치 및 방법
DYNAMIC PROGRAMMING BASED NEURAL NETWORK DEPTH COMPRESSION DEVICE AND METHOD
특허 요약
일 실시예에 따른 동적 계획법 기반 신경망 깊이 압축 장치는 연속되는 선형 레이어들을 병합한 복수의 블록들에 대한 중요도와 추론 시간을 측정하는 측정부, 동적계획법 알고리즘을 이용하여, 상기 추론 시간에 제한이 있을 때 상기 중요도를 최대화하는 비선형 레이어의 위치를 검출하는 최적화부, 상기 검출한 비선형 레이어의 위치를 제외한 나머지 비선형 레이어를 제거하는 학습부 및 상기 나머지 비선형 레이어를 제거함으로써 서로 인접하게 되는 선형 레이어들을 병합하는 병합부를 포함한다.
청구항
번호청구항
15

제11항에 있어서, 초기 네트워크에서 병합 가능한 연속된 선형 레이어들을 가지고 상기 복수의 블록들을 정의하고, 서로 다른 상기 복수의 블록들의 조합으로 각각 구성된 복수의 중간 네트워크들을 생성하는 단계를 더 포함하는 동적 계획법 기반 신경망 깊이 압축 방법.

16

제15항에 있어서, 상기 비선형 레이어의 위치를 검출하는 단계는,상기 복수의 중간 네트워크들 중에서 상기 추론 시간의 제한을 만족하면서 상기 중요도가 최대인 최적 중간 네트워크를 선택하고, 선택된 상기 최적 중간 네트워크로부터 상기 비선형 레이어의 위치를 검출하는 단계를 더 포함하는 동적 계획법 기반 신경망 깊이 압축 방법.

1

연속되는 선형 레이어들을 병합한 복수의 블록들에 대한 중요도와 추론 시간을 측정하는 측정부;동적계획법 알고리즘을 이용하여, 상기 추론 시간에 제한이 있을 때 상기 중요도를 최대화하는 비선형 레이어의 위치를 검출하는 최적화부;검출한 상기 비선형 레이어의 위치를 제외한 나머지 비선형 레이어를 제거하는 학습부; 및상기 나머지 비선형 레이어를 제거함으로써 서로 인접하게 되는 선형 레이어들을 병합하는 병합부를 포함하는 동적 계획법 기반 신경망 깊이 압축 장치.

2

제1항에 있어서, 상기 측정부는 복수의 블록들 각각에 포함된 적어도 하나의 비선형 레이어를 제거할 경우 신경망 네트워크의 성능 변화를 기초로 상기 복수의 블록들 각각에 대한 중요도를 결정하는 동적 계획법 기반 신경망 깊이 압축 장치.

3

제2항에 있어서, 상기 측정부는 연속하는 i번째 선형 레이어부터 j번째 선형 레이어까지 병합하는 블록의 중요도 값을 i+1번째 비선형 레이어부터 j-1번째 비선형 레이어까지 삭제하는 경우의 상기 신경망 네트워크의 성능 변화 값으로 정의하는 동적 계획법 기반 신경망 깊이 압축 장치.

4

제1항에 있어서, 상기 측정부는 상기 복수의 블록들 각각에 포함된 복수의 선형 레이어들을 하나로 병합할 때 소요되는 시간을 측정하여 상기 복수의 블록들 각각에 대한 추론 시간으로 결정하는 동적 계획법 기반 신경망 깊이 압축 장치.

5

제1항에 있어서, 상기 측정부는 초기 네트워크에서 병합 가능한 연속된 선형 레이어들을 가지고 상기 복수의 블록들을 정의하고, 서로 다른 상기 복수의 블록들의 조합들 각각에 대하여 상기 중요도 및 상기 추론 시간을 측정하는 동적 계획법 기반 신경망 깊이 압축 장치.

6

제5항에 있어서, 상기 최적화부는 상기 복수의 중간 네트워크들 중에서 상기 추론 시간의 제한을 만족하면서 상기 중요도가 최대인 최적 중간 네트워크를 선택하고, 선택된 상기 최적 중간 네트워크로부터 상기 비선형 레이어의 위치를 검출하는 동적 계획법 기반 신경망 깊이 압축 장치.

7

제6항에 있어서, 상기 최적화부는 상기 동적 계획법 알고리즘을 통해, 상기 복수의 연속된 선형 레이어들 중 일부의 연속된 레이어들을 포함하는 일부의 블록들에 대한 최대 중요도를 산출하고,산출된 상기 일부의 블록들에 대한 상기 최대 중요도를 기초로 상기 복수의 블록들에 대한 중요도를 최대화하는 상기 비선형 레이어의 위치를 검출하는 동적 계획법 기반 신경망 깊이 압축 장치.

8

제7항에 있어서, 상기 병합부는 검출된 상기 비선형 레이어의 위치를 기초로 상기 최적 중간 네트워크로부터 최종 깊이 압축 네트워크를 생성하는 동적 계획법 기반 신경망 깊이 압축 장치.

9

제1항에 있어서, 상기 학습부는 상기 나머지 비선형 레이어를 제거한 중간 네트워크에 대한 미세조정의 학습을 수행하는 동적 계획법 기반 신경망 깊이 압축 장치.

10

제9항에 있어서, 상기 병합부는 상기 미세조정을 거친 최종 신경망을 배포할 때 인접한 선형 레이어들을 하나로 병합하여 가속화된 신경망을 배포하는 동적 계획법 기반 신경망 깊이 압축 장치.

11

연속되는 선형 레이어들을 포함하는 복수의 블록들에 대한 중요도 및 추론 시간을 측정하는 단계;동적계획법 알고리즘을 이용하여, 상기 추론 시간에 제한이 있을 때 상기 중요도를 최대화하는 비선형 레이어의 위치를 검출하는 단계;검출한 상기 비선형 레이어의 위치를 제외한 나머지 비선형 레이어를 제거하는 단계; 및상기 나머지 비선형 레이어를 제거함으로써 서로 인접하게 되는 선형 레이어들을 병합하는 단계를 포함하는 동적 계획법 기반 신경망 깊이 압축 방법.

12

제11항에 있어서, 상기 중요도 및 추론 시간을 측정하는 단계는,복수의 블록들 각각에 포함된 적어도 하나의 비선형 레이어를 제거할 경우 신경망 네트워크의 성능 변화를 기초로 상기 복수의 블록들 각각에 대한 중요도를 결정하는 단계를 더 포함하는 동적 계획법 기반 신경망 깊이 압축 방법.

13

제12항에 있어서, 상기 복수의 블록들 각각에 대한 중요도를 결정하는 단계는,연속하는 i번째 선형 레이어부터 j번째 선형 레이어까지 병합하는 블록의 중요도 값을, i+1번째 비선형 레이어부터 j-1번째 비선형 레이어까지 삭제하는 경우의 상기 신경망 네트워크의 성능 변화 값으로 정의하는 단계를 더 포함하는 동적 계획법 기반 신경망 깊이 압축 방법.

14

제11항에 있어서, 상기 중요도 및 추론 시간을 측정하는 단계는,상기 복수의 블록들 각각에 포함된 복수의 선형 레이어들을 하나로 병합할 때 소요되는 시간을 측정하여 상기 복수의 블록들 각각에 대한 추론 시간으로 결정하는 단계를 더 포함하는 동적 계획법 기반 신경망 깊이 압축 방법.

17

제16항에 있어서, 상기 비선형 레이어의 위치를 검출하는 단계는,상기 동적 계획법 알고리즘을 통해, 상기 복수의 연속된 선형 레이어들 중 일부의 연속된 레이어들을 포함하는 일부의 블록들에 대한 최대 중요도를 산출하고,산출된 상기 일부의 블록들에 대한 상기 최대 중요도를 기초로 상기 복수의 블록들에 대한 중요도를 최대화하는 상기 비선형 레이어의 위치를 검출하는 단계를 더 포함하는 동적 계획법 기반 신경망 깊이 압축 방법.

18

제17항에 있어서, 상기 인접하게 되는 선형 레이어들을 병합하는 단계는,검출된 상기 비선형 레이어의 위치를 기초로 상기 최적 중간 네트워크로부터 최종 깊이 압축 네트워크를 생성하는 단계를 더 포함하는 동적 계획법 기반 신경망 깊이 압축 방법.

19

제11항에 있어서, 상기 나머지 비선형 레이어를 제거하는 단계는,상기 나머지 비선형 레이어를 제거한 중간 네트워크에 대한 미세조정의 학습을 수행하는 단계를 더 포함하는 동적 계획법 기반 신경망 깊이 압축 방법.

20

제19항에 있어서, 상기 인접하게 되는 선형 레이어들을 병합하는 단계는,상기 미세조정을 거친 최종 신경망을 배포할 때 인접한 선형 레이어들을 하나로 병합하여 가속화된 신경망을 배포하는 단계를 더 포함하는 동적 계획법 기반 신경망 깊이 압축 방법.