미분 기반 신경망 구조 탐색 시스템 및 방법
Differential neural architecture searching system and method
특허 요약
미분 기반 신경망 구조 탐색 시스템 및 방법이 제공된다. 본 발명의 실시예에 따른 미분 기반 신경망 구조 탐색 시스템은, 미분 기반 신경망 탐색 알고리즘으로부터 매개변수의 수가 기 설정된 기준 이상 증가하지 않도록하는 손실 함수를 재구성하는 손실 함수 재구성부; 백본 모형을 모든 후보 그룹 합성곱 연산의 가중합에 기반한 손실 함수를 이용하여 최적화 하기 위한 매개변수 함수를 획득하는 매개변수 함수 획득부; 및 최대 가중치 값을 가지는 그룹 합성곱 연산을 최적 연산자로 결정하는 최적 연산자 결정부;를 포함하는 미분 기반 신경망 구조 탐색 시스템.
청구항
번호청구항
1

미분 기반 신경망 탐색 알고리즘으로부터 매개변수의 수가 기 설정된 기준 이상 증가하지 않도록하는 손실 함수를 재구성하는 손실 함수 재구성부;백본 모형을 모든 후보 그룹 합성곱 연산의 가중합에 기반한 손실 함수를 이용하여 최적화 하기 위한 매개변수 함수를 획득하는 매개변수 함수 획득부; 및최대 가중치 값을 가지는 그룹 합성곱 연산을 최적 연산자로 결정하는 최적 연산자 결정부;를 포함하는 미분 기반 신경망 구조 탐색 시스템.

2

제 1항에 있어서,상기 손실 함수 재구성부는,상기 미분 기반 신경망 탐색 알고리즘을 하기 수식 1로 수식화하는 미분 기반 신경망 구조 탐색 시스템.수식 1(여기서, L : DNAS의 손실 함수, A: DNAS의 구조 공간, wα: 모형의 매개변수, α: 현재 모형 구조)

3

제 2항에 있어서,상기 손실 함수 재구성부는,상기 알고리즘에 포함된 모든 합성곱의 그룹 수를 나타내는 집합 H를 찾기 위해 하기 수식 2를 이용하는 미분 기반 신경망 구조 탐색 시스템.수식 2(여기서, : 모든 가능한 H로 구성된 그룹 구조 공간, wH: 그룹 구조가 H일 때의 매개변수, α: 현재 모형 구조)

4

제 3항에 있어서,상기 손실 함수 재구성부는,상기 손실 함수를 하기 수식 3으로 재구성하는 미분 기반 신경망 구조 탐색 시스템.수식 3(여기서, CE: 교차 엔트로피(cross entropy) 손실 함수, : 지연시간(latency)항의 크기 조정 사용자 매개변수, P(H): 그룹 구조가 H일 때의 매개변수)

5

제 4항에 있어서,상기 그룹 구조가 H일 때의 매개변수는,하기 수식 4로 표현되는 미분 기반 신경망 구조 탐색 시스템.수식 4(여기서, m(hi): 그룹 수가 hi일 때의 매개변수의 수)

6

제 5항에 있어서,상기 매개변수 함수 획득부는,gk가 하나의 그룹 수 후보이고, gi를 만족하는 집합 G={g1, g2, ..., gn}가 주어질 때 상기 매개변수 함수를 획득하기 위해 상기 수식 4를 하기 수식5로 수정하는 미분 기반 신경망 구조 탐색 시스템.수식 5(여기서, k,g: 그룹 수가 g인 k번째 그룹 합성곱 연산의 중요도 가중치, GS: 검벨 소프트맥스(Gumbel softmax)함수, m: 그룹 수가 g일 때 필요한 그룹 합성곱 연산자의 매개변수 수)

7

제 6항에 있어서,상기 최적 연산자 결정부는,상기 최적 연산자를 결정하기 위해 하기 수식 6을 이용하는 미분 기반 신경망 구조 탐색 시스템.수식 6

8

손실 함수 재구성부를 이용하여 미분 기반 신경망 탐색 알고리즘으로부터 매개변수의 수가 기 설정된 기준 이상 증가하지 않도록 하는 손실 함수를 재구성하는 단계;매개변수 함수 획득부를 통해 백본 모형을 모든 후보 그룹 합성곱 연산의 가중합에 기반한 손실 함수를 이용하여 최적화 하기 위한 매개변수 함수를 획득하는 단계; 및최적 연산자 결정부를 이용하여 최대 가중치 값을 가지는 그룹 합성곱 연산을 최적 연산자로 결정하는 단계;를 포함하는 미분 기반 신경망 구조 탐색 방법.

9

제 8항에 있어서,상기 손실 함수를 재구성하는 단계는,상기 미분 기반 신경망 탐색 알고리즘을 하기 수식 7로 수식화하는 미분 기반 신경망 구조 탐색 방법.수식 7(여기서, L: DNAS의 손실 함수, A: DNAS의 구조 공간, wα: 모형의 매개변수, α: 현재 모형 구조)

10

제 9항에 있어서,상기 손실 함수를 재구성하는 단계는,상기 알고리즘에 포함된 모든 합성곱의 그룹 수를 나타내는 집합 H를 찾기 위해 하기 수식 8을 이용하는 미분 기반 신경망 구조 탐색 방법.수식 8(여기서, : 모든 가능한 H로 구성된 그룹 구조 공간, wH: 그룹 구조가 H일 때의 매개변수, α: 현재 모형 구조)

11

제 10항에 있어서,상기 손실 함수를 재구성하는 단계는,상기 손실 함수를 하기 수식 9로 재구성하는 미분 기반 신경망 구조 탐색 방법.수식 9(여기서, CE: 교차 엔트로피(cross entropy) 손실 함수, : 지연시간(latency)항의 크기 조정 사용자 매개변수, P(H): 그룹 구조가 H일 때의 매개변수)

12

제 11항에 있어서,상기 그룹 구조가 H일 때의 매개변수는,하기 수식 10으로 표현되는 미분 기반 신경망 구조 탐색 방법.수식 10(여기서, m(hi): 그룹 수가 hi일 때의 매개변수의 수)

13

제 12항에 있어서,상기 매개변수 함수를 획득하는 단계는,gk가 하나의 그룹 수 후보이고, gi를 만족하는 집합 G={g1, g2, ..., gn}가 주어질 때 상기 매개변수 함수를 획득하기 위해 상기 수식 10을 하기 수식 11로 수정하는 미분 기반 신경망 구조 탐색 방법.수식 11(여기서, k,g: 그룹 수가 g인 k번째 그룹 합성곱 연산의 중요도 가중치, GS: 검벨 소프트맥스(Gumbel softmax)함수, m: 그룹 수가 g일 때 필요한 그룹 합성곱 연산자의 매개변수 수)

14

제 13항에 있어서,상기 그룹 합성곱 연산을 최적 연산자로 결정하는 단계는,상기 최적 연산자를 결정하기 위해 하기 수식 12를 이용하는 미분 기반 신경망 구조 탐색 방법.수식 12