신뢰성 있는 네트워크 해석을 위한 네트워크 압축의 속성 보존을 위한 방법 및 시스템
METHOD AND SYSTEM FOR ATTRIBUTION PRESERVATION IN NETWORK COMPRESSION FOR RELIABLE NETWORK INTERPRETATION
특허 요약
신경망의 압축 시, 신경망의 속성 맵을 생성하여 압축된 신경망으로 전달함으로써, 신경망을 압축하여 전달하면서도 신경망의 속성을 보존하여 시스템의 신뢰성을 향상시킬 수 있는 속성 보존 방법 및 시스템을 제공한다.
청구항
번호청구항
13

삭제

14

삭제

15

삭제

11

제10항에 있어서,상기 제1 신경망의 속성 맵을 생성하기 위해, 상기 적어도 하나의 프로세서에 의해,상기 채널의 중요도에 베르누이 분포(Bernoulli distribution)를 부과하는 것을 특징으로 하는 컴퓨터 장치.

12

제11항에 있어서,상기 채널의 중요제8항에 있어서,상기 적어도 하나의 프로세서에 의해,상기 제1 신경망의 채널의 출력 활성화의 아다마르 파워(Hadamard power) 또는 행렬 산술연산(element-wise) 파워의 채널별 합에 기반하여 상기 속성 맵을 생성하는 것을 특징으로 하는 컴퓨터 장치.

1

적어도 하나의 프로세서를 포함하는 컴퓨터 장치의 속성 보존 방법에 있어서,상기 적어도 하나의 프로세서에 의해, 제1 신경망의 속성 맵을 생성하는 단계;상기 적어도 하나의 프로세서에 의해, 상기 제1 신경망을 압축하여 제2 신경망을 생성하는 단계; 및상기 적어도 하나의 프로세서에 의해, 상기 제2 신경망의 속성 보존을 위해 상기 생성된 속성 맵을 상기 제2 신경망으로 전달하는 단계를 포함하고,상기 제1 신경망의 속성 맵을 생성하는 단계는,상기 제1 신경망의 채널의 출력 활성화 값을 입력으로 갖는 선택함수의 출력값, 중요도 계산 함수에 의해 주어지는 상기 채널의 중요도 및 정류함수(rectification function)에 기반하여 상기 속성 맵을 계산하고,상기 채널의 중요도는 임의의 대상 클래스에서 상기 제1 신경망에 의해 생성되는 출력 로짓(logit, logistic probit) 및 상기 채널의 출력 활성화 값에 기반하여 계산되는 것을 특징으로 하는 속성 보존 방법.

2

적어도 하나의 프로세서를 포함하는 컴퓨터 장치의 속성 보존 방법에 있어서,상기 적어도 하나의 프로세서에 의해, 제1 신경망의 속성 맵을 생성하는 단계;상기 적어도 하나의 프로세서에 의해, 상기 제1 신경망을 압축하여 제2 신경망을 생성하는 단계; 및상기 적어도 하나의 프로세서에 의해, 상기 제2 신경망의 속성 보존을 위해 상기 생성된 속성 맵을 상기 제2 신경망으로 전달하는 단계를 포함하고,상기 제1 신경망의 속성 맵을 생성하는 단계는,상기 제1 신경망의 채널의 출력 활성화 값을 입력으로 갖는 선택함수의 출력값, 중요도 계산 함수에 의해 주어지는 상기 채널의 중요도 및 정류함수(rectification function)에 기반하여 상기 속성 맵을 계산하고,상기 선택함수는 ReLU(Rectified Linear Unit)로 설정되고,상기 중요도 계산 함수는 항등함수로 설정되는 것을 특징으로 하는 속성 보존 방법.

3

적어도 하나의 프로세서를 포함하는 컴퓨터 장치의 속성 보존 방법에 있어서,상기 적어도 하나의 프로세서에 의해, 제1 신경망의 속성 맵을 생성하는 단계;상기 적어도 하나의 프로세서에 의해, 상기 제1 신경망을 압축하여 제2 신경망을 생성하는 단계; 및상기 적어도 하나의 프로세서에 의해, 상기 제2 신경망의 속성 보존을 위해 상기 생성된 속성 맵을 상기 제2 신경망으로 전달하는 단계를 포함하고,상기 제1 신경망의 속성 맵을 생성하는 단계는,상기 제1 신경망의 채널의 출력 활성화 값을 입력으로 갖는 선택함수의 출력값, 중요도 계산 함수에 의해 주어지는 상기 채널의 중요도 및 정류함수(rectification function)에 기반하여 상기 속성 맵을 계산하고,상기 채널의 중요도는 상기 채널의 중요도가 상기 중요도 계산 함수의 확률 분포를 따르도록 부여되는 것을 특징으로 하는 속성 보존 방법.

4

제3항에 있어서,상기 제1 신경망의 속성 맵을 생성하는 단계는,상기 채널의 중요도에 베르누이 분포(Bernoulli distribution)를 부과하는 단계를 포함하는 것을 특징으로 하는 속성 보존 방법.

5

제1항에 있어서,상기 제1 신경망의 속성 맵을 생성하는 단계는,상기 제1 신경망의 채널의 출력 활성화의 아다마르 파워(Hadamard power) 또는 행렬 산술연산(element-wise) 파워의 채널별 합에 기반하여 상기 속성 맵을 생성하는 것을 특징으로 하는 속성 보존 방법.

6

컴퓨터 장치와 결합되어 제1항 내지 제5항 중 어느 한 항의 방법을 컴퓨터 장치에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.

7

제1항 내지 제5항 중 어느 한 항의 방법을 컴퓨터 장치에 실행시키기 위한 컴퓨터 프로그램이 기록되어 있는 컴퓨터 판독 가능한 기록매체.

8

컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고,상기 적어도 하나의 프로세서에 의해,제1 신경망의 속성 맵을 생성하고,상기 제1 신경망을 압축하여 제2 신경망을 생성하고,상기 제2 신경망의 속성 보존을 위해 상기 생성된 속성 맵을 상기 제2 신경망으로 전달하고,상기 제1 신경망의 속성 맵을 생성하기 위해, 상기 적어도 하나의 프로세서에 의해,상기 제1 신경망의 채널의 출력 활성화 값을 입력으로 갖는 선택함수의 출력값, 중요도 계산 함수에 의해 주어지는 상기 채널의 중요도 및 정류함수(rectification function)에 기반하여 상기 속성 맵을 계산하고,상기 채널의 중요도는 임의의 대상 클래스에서 상기 제1 신경망에 의해 생성되는 출력 로짓(logit, logistic probit) 및 상기 채널의 출력 활성화 값에 기반하여 계산되는 것을 특징으로 하는 컴퓨터 장치.

9

컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고,상기 적어도 하나의 프로세서에 의해,제1 신경망의 속성 맵을 생성하고,상기 제1 신경망을 압축하여 제2 신경망을 생성하고,상기 제2 신경망의 속성 보존을 위해 상기 생성된 속성 맵을 상기 제2 신경망으로 전달하고,상기 제1 신경망의 속성 맵을 생성하기 위해, 상기 적어도 하나의 프로세서에 의해,상기 제1 신경망의 채널의 출력 활성화 값을 입력으로 갖는 선택함수의 출력값, 중요도 계산 함수에 의해 주어지는 상기 채널의 중요도 및 정류함수(rectification function)에 기반하여 상기 속성 맵을 계산하고,상기 선택함수는 ReLU(Rectified Linear Unit)로 설정되고,상기 중요도 계산 함수는 항등함수로 설정되는 것을 특징으로 하는 컴퓨터 장치.

10

컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고,상기 적어도 하나의 프로세서에 의해,제1 신경망의 속성 맵을 생성하고,상기 제1 신경망을 압축하여 제2 신경망을 생성하고,상기 제2 신경망의 속성 보존을 위해 상기 생성된 속성 맵을 상기 제2 신경망으로 전달하고,상기 제1 신경망의 속성 맵을 생성하기 위해, 상기 적어도 하나의 프로세서에 의해,상기 제1 신경망의 채널의 출력 활성화 값을 입력으로 갖는 선택함수의 출력값, 중요도 계산 함수에 의해 주어지는 상기 채널의 중요도 및 정류함수(rectification function)에 기반하여 상기 속성 맵을 계산하고,상기 채널의 중요도는 상기 채널의 중요도가 상기 중요도 계산 함수의 확률 분포를 따르도록 부여되는 것을 특징으로 하는 컴퓨터 장치.