캡슐 네트워크 숏컷 라우팅 기반의 학습 방법 및 장치
CAPSULE NETWORK WITH SHORTCUT ROUTING-BASED LEARNING METHOD AND APPARATUS
특허 요약
전체적인 캡슐 네트워크 숏컷 라우팅에 있어서, 이미지 배치가 전체 캡슐 네트워크에 전송된다. 이미지 배치는 일반적인 컨벌루션 레이어를 거치고, primary capsule이라고 부르는 단계를 거쳐 (b,n,d,w,h)로 변형한 결과물을 얻게 된다. 여기서 n은 캡슐 채널 수이고, d는 캡슐의 사이즈를 말하며, d는 가로, 세로를 나타내는 공간 차원을 의미하며, b는 배치 사이즈를 말한다. 그 다음에 로컬 캡슐 블락을 이용하여 다음 로컬 캡슐 레이어를 얻는다. 숏컷 라우팅 알고리즘을 사용하기 위한 최초의 글로벌 캡슐을 얻는 방법은 마지막 로컬 캡슐 블락의 순전파 단계의 결과를 사용한다. 그리고 지속적인 숏컷 라우팅 알고리즘을 사용하기 위해서 각각의 로컬 캡슐 블락에서 channel wise 결과를 글로벌 캡슐 블락의 입력으로 라우팅 계수를 산출하여 로컬 캡슐 레이어와 연산하여 글로벌 캡슐을 구하는 과정을 거친다.
청구항
번호청구항
6

제1항에 있어서,라우팅(routing) 계수(또는 투표(voting) 계수)는 로컬 캡슐과 글로벌 캡슐까지의 공헌 정도에 대한 가중치를 나타내는 스칼라 값에 해당하고,상기 로컬 캡슐 블락 단계에서의 라우팅 계수는 3차원 포인트 와이즈 컨볼루션의 학습 가능한 파라미터로서 동일 채널의 캡슐에게 공유되고,상기 글로벌 캡슐 블락 단계에서의 라우팅 계수는 하나의 레이어와 가장 최근 업데이트된 글로벌 캡슐 사이의 연관성을 기반으로 산출되는 것을 특징으로 하는 캡슐 네트워크 숏컷 라우팅 기반의 학습 방법.

7

제6항에 있어서,상기 라우팅 계수는 어텐션(attention) 기반 라우팅 계산 방법에 따라 다음의 수학식 5 및 6을 통해 산출되는 것을 특징으로 하는 캡슐 네트워크 숏컷 라우팅 기반의 학습 방법.[수학식 5] [수학식 6] (여기에서, 는 어텐션(attention) 스코어(score)이고, 는 정규화된 어텐션 스코어이며, 이다.)

8

제6항에 있어서,상기 라우팅 계수는 퍼지(Fuzzy) 기반 라우팅 계산 방법에 따라 다음의 수학식 7 내지 9을 통해 산출되는 것을 특징으로 하는 캡슐 네트워크 숏컷 라우팅 기반의 학습 방법.[수학식 7] [수학식 8] [수학식 9] (여기에서, 는 퍼지(fuzzy) 계수이고, 로컬 캡슐의 공헌의 정도를 증가시킬 수 있다.)

9

제7항에 있어서,어텐션(attention) 기반 활성 확률 계산 방법은 다음의 수학식 10과 같이 표현되는 것을 특징으로 하는 캡슐 네트워크 숏컷 라우팅 기반의 학습 방법.[수학식 10] (여기에서, probm은 글로벌 캡슐의 활성 확률, gm은 글로벌 캡슐, squash()는 스쿼시 함수이다.)

1

적어도 하나의 컨볼루션 레이어(convolution)를 통과한 이미지 배치를 수신하고, 상기 이미지 배치 또는 이전 과정의 제1 특징 맵을 기초로 제2 특징 맵을 생성하는 제1 과정을 반복 수행하며, 상기 제1 과정의 반복 중 마지막 제1 과정을 통해 생성된 제2 피처맵을 순전파(forward propagation) 하여 기본 캡슐 레이어(primary capsule layer)로서 생성하는 프라이머리 캡슐(primary capsule) 단계;상기 기본 캡슐 레이어를 수신하고, 상기 기본 캡슐 레이어 또는 이전 과정의 제1 로컬 캡슐 레이어를 기초로 제2 로컬 캡슐 레이어를 생성하는 제2 과정을 반복 수행하며, 상기 제2 과정의 반복 중 마지막 제2 과정의 순전파 단계를 통해 생성된 최초 글로벌 캡슐 레이어를 글로벌 캡슐 블락(global capsule block) 단계에 전달하고, 상기 제2 과정마다 채널 와이즈(channel-wise) 컨볼루션을 통해 생성된 미리 선출된(pre-voted) 캡슐 레이어를 상기 글로벌 캡슐 블락 단계에 전달하는 로컬 캡슐 블락(local capsule block) 단계; 및상기 최초 글로벌 캡슐 레이어를 수신하고, 상기 최초 글로벌 캡슐 레이어 또는 이전 과정의 제1 글로벌 캡슐 레이어와 상기 미리 선출된 캡슐 레이어를 기초로 제2 글로벌 캡슐 레이어를 생성하는 제3 과정을 반복 수행하며, 상기 제3 과정의 반복 중 마지막 제3 과정을 통해 생성된 제2 글로벌 캡슐 레이어를 최종 글로벌 캡슐 레이어로서 생성하는 글로벌 캡슐 블락(global capsule block) 단계를 포함하는 캡슐 네트워크 숏컷 라우팅 기반의 학습 방법.

2

제1항에 있어서, 상기 기본 캡슐 레이어는(b,n,d,w,h)로 표현되는 특징 맵으로 구현되고, 여기에서 b는 배치 사이즈, n은 캡슐 채널 수, d는 캡슐 사이즈, w 및 h는 가로 및 세로를 나타내는 공간 상의 차원에 해당하는 것을 특징으로 하는 캡슐 네트워크 숏컷 라우팅 기반의 학습 방법.

3

제1항에 있어서,하나의 캡슐 레이어는 cn,:,w,h로 표현되는 벡터 또는 행렬로 구현되고,k번째(kth) 캡슐 레이어의 요소는 로 표현되며, 여기에서 n은 현재 레이어에서의 캡슐 채널의 지표, w 및 h는 공간 상의 차원, d는 캡슐 사이즈 또는 하나의 캡슐에서의 위치 벡터 수에 해당하는 것을 특징으로 하는 캡슐 네트워크 숏컷 라우팅 기반의 학습 방법.

4

제1항에 있어서, 상기 로컬 캡슐 블락 단계는상기 제2 과정 동안 채널 와이즈(channel-wise) 컨볼루션 및 포인트 와이즈(point-wise) 컨볼루션으로 구성된 뎁스 와이즈(depth-wise) 캡슐 컨볼루션을 수행하는 단계를 포함하고,상기 채널 와이즈 컨볼루션은 저레벨 캡슐에 대한 가중치 결합(weighted combination)을 통해 고레벨 캡슐을 생성하는 과정에 해당하고 해당 과정의 가중치는 다음의 수학식 1 및 2를 통해 상기 포인트 와이즈 컨볼루션에 공유되는 것을 특징으로 하는 캡슐 네트워크 숏컷 라우팅 기반의 학습 방법.[수학식 1] [수학식 2] (여기에서, 미리 선출된 캡슐 은 nth채널에서의 레이어 l의 캡슐이고, 위치 (w,h), 는 고레벨 캡슐을 예측하는 변환 행렬이며, rn은 채널 n과 다른 채널 사이에서의 학습 가능한 라우팅 계수이다.)

5

제1항에 있어서, 상기 글로벌 캡슐 블락 단계는변환 행렬과 상기 미리 선출된 캡슐 레이어 간의 곱 연산을 통해 라우팅 캡슐을 획득하는 단계; 및상기 라우팅 캡슐에 라우팅 계수를 적용하여 업데이트된 글로벌 캡슐로서 상기 제2 글로벌 캡슐 레이어를 생성하는 단계를 포함하고,상기 라우팅 캡슐 및 상기 업데이트된 글로벌 캡슐은 다음의 수학식 3 및 4를 통해 각각 표현되는 것을 특징으로 하는 캡슐 네트워크 숏컷 라우팅 기반의 학습 방법.[수학식 3] [수학식 4] (여기에서, 는 라우팅 캡슐, 은 미리 선출된 캡슐, 는 학습 가능한 변환 행렬이다. 또한, 는 업데이트된 글로벌 캡슐이고, 는 라우팅 계수이다)

10

제8항에 있어서,퍼지(Fuzzy) 기반 활성 확률 계산 방법은 다음의 수학식 11 및 12와 같이 표현되는 것을 특징으로 하는 캡슐 네트워크 숏컷 라우팅 기반의 학습 방법.[수학식 11] [수학식 12] (여기에서, 은 mth 클러스터(cluster)의 밀집도를 측정하는 것이고, λ는 숫자적 오류를 피하기 위한 하이퍼 파라미터이며, βm은 학습 가능한 임계값(threshold)이다.)

11

제9항 또는 제10항에 있어서,캡슐 네트워크를 학습하기 위한 목적 로스(loss)는 다음의 수학식 13을 통해 산출되는 것을 특징으로 하는 캡슐 네트워크 숏컷 라우팅 기반의 학습 방법.[수학식 13] (여기에서, t는 타겟 클래스이고, margin 범위는 0.2 ~ 0.9이다.)

12

적어도 하나의 컨볼루션 레이어(convolution)를 통과한 이미지 배치를 수신하고, 상기 이미지 배치 또는 이전 과정의 제1 특징 맵을 기초로 제2 특징 맵을 생성하는 제1 과정을 반복 수행하며, 상기 제1 과정의 반복 중 마지막 제1 과정을 통해 생성된 제2 피처맵을 순전파(forward propagation) 하여 기본 캡슐 레이어(primary capsule layer)로서 생성하는 프라이머리 캡슐(primary capsule) 처리부;상기 기본 캡슐 레이어를 수신하고, 상기 기본 캡슐 레이어 또는 이전 과정의 제1 로컬 캡슐 레이어를 기초로 제2 로컬 캡슐 레이어를 생성하는 제2 과정을 반복 수행하며, 상기 제2 과정의 반복 중 마지막 제2 과정의 순전파 단계를 통해 생성된 최초 글로벌 캡슐 레이어를 글로벌 캡슐 블락(global capsule block) 처리부에 전달하고, 상기 제2 과정마다 채널 와이즈(channel-wise) 컨볼루션을 통해 생성된 미리 선출된(pre-voted) 캡슐 레이어를 상기 글로벌 캡슐 블락 처리부에 전달하는 로컬 캡슐 블락(local capsule block) 처리부; 및상기 최초 글로벌 캡슐 레이어를 수신하고, 상기 최초 글로벌 캡슐 레이어 또는 이전 과정의 제1 글로벌 캡슐 레이어와 상기 미리 선출된 캡슐 레이어를 기초로 제2 글로벌 캡슐 레이어를 생성하는 제3 과정을 반복 수행하며, 상기 제3 과정의 반복 중 마지막 제3 과정을 통해 생성된 제2 글로벌 캡슐 레이어를 최종 글로벌 캡슐 레이어로서 생성하는 글로벌 캡슐 블락(global capsule block) 처리부를 포함하는 캡슐 네트워크 숏컷 라우팅 기반의 학습 장치.