집중화 모델 학습 장치 및 그 방법
Device for training attention model and method thereof
특허 요약
영상에서 사용자의 시선이 향하는 위치와 시선의 변화를 예측하기 위한 집중화 모델 학습 장치 및 그 방법이 제공된다. 집중화 모델 학습 방법은, 입력부에서 인코더부로 복수의 입력데이터(x t )를 전달하는 (a) 단계와, 상기 복수의 입력데이터에 상기 입력데이터 별로 미리 결정된 입력가중치(U t )를 적용하고, 상기 인코더부의 기(旣)출력된 제1 출력값(e t-1 )에 상기 기출력된 제1 출력값 별로 미리 결정된 인코더부 내부 가중치(W et )를 적용하여 복수의 제1 출력값(e t )을 출력하는 (b) 단계와, 상기 제1 출력값을 중간연결부로 전달하여 상기 제1 출력값에 집중화 가중치를 적용한 복수의 제2 출력값(c r )을 출력하고, 상기 제2 출력값을 디코더부로 전달하는 (c) 단계와, 상기 제2 출력값, 상기 디코더부의 기출력된 제3 출력값(d t-1 ) 및 출력부의 기출력된 예측값( )에 기초한 복수의 제3 출력값(d t )을 출력하고, 상기 제3 출력값을 상기 출력부로 전달하는 (d) 단계와, 상기 복수의 제3 출력값에 상기 제3 출력값 별로 미리 결정된 출력가중치(V t )를 적용한 예측값( )을 출력하는 (e) 단계를 포함한다.
청구항
번호청구항
9

제1항에 있어서,상기 예측값 는 하기의 식으로부터 도출되는 것을 특징으로 하는 집중화 모델 학습 방법.(Vt: 출력 가중치, dt: 제3 출력값)

1

입력부에서 인코더부로 복수의 입력데이터(xt)를 전달하는 (a) 단계;상기 복수의 입력데이터에 상기 입력데이터 별로 미리 결정된 입력가중치(Ut)를 적용하고, 상기 인코더부의 기(旣)출력된 제1 출력값(et-1)에 상기 기출력된 제1 출력값 별로 미리 결정된 인코더부 내부 가중치(Wet)를 적용하여 복수의 제1 출력값(et)을 출력하는 (b) 단계;상기 제1 출력값을 중간연결부로 전달하여 상기 제1 출력값에 집중화 가중치를 적용한 복수의 제2 출력값(cr)을 출력하고, 상기 제2 출력값을 디코더부로 전달하는 (c) 단계;상기 제2 출력값, 상기 디코더부의 기출력된 제3 출력값(dt-1) 및 출력부의 기출력된 예측값()에 기초한 복수의 제3 출력값(dt)을 출력하고, 상기 제3 출력값을 상기 출력부로 전달하는 (d) 단계; 및상기 복수의 제3 출력값에 상기 제3 출력값 별로 미리 결정된 출력가중치(Vt)를 적용한 예측값()을 출력하는 (e) 단계;를 포함하는 집중화 모델 학습 방법.

2

제1항에 있어서,상기 (e) 단계에서,상기 예측값을 출력한 횟수가 미리 설정된 값 미만인 경우, 상기 (d)단계 및 상기 (e)단계를 반복적으로 수행하는 것을 특징으로 하는 집중화 모델 학습 방법.

3

제1항에 있어서,상기 (b) 단계에서, 상기 복수의 제1 출력값 중에서 첫번째 제1 출력값에 적용되는 상기 인코더부 내부 가중치는 0인 것을 특징으로 하는 집중화 모델 학습 방법.

4

제1항에 있어서,상기 (d) 단계에서, 상기 기출력된 제3 출력값은 디코더부 내부 가중치 (Wdt)를 포함하고,상기 기출력된 예측값은 상기 출력가중치를 포함하는 것을 특징으로 하는 집중화 모델 학습 방법.

5

제4항에 있어서,상기 (d) 단계에서,상기 복수의 제3 출력값 중에서 첫번째 제3 출력값에 적용되는 상기 디코더부 내부 가중치는 0인 것을 특징으로 하는 집중화 모델 학습 방법.

6

제5항에 있어서,상기 입력가중치(Ut), 상기 인코더부 내부 가중치(Wet), 상기 디코더부 내부 가중치(Wdt) 및 상기 출력가중치(Vt)는 0과 1사이의 미리 결정된 독립적인 변수인 것을 특징으로 하는 집중화 모델 학습 방법.

7

제1항에 있어서,상기 제1 출력값 et는 하기 식으로부터 도출되는 것을 특징으로 하는 집중화 모델 학습 방법.(Ut: 입력가중치, Wet: 인코더부 내부 가중치, et-1: 기출력된 제1 출력값, xt: 입력데이터)

8

제1항에 있어서,상기 제3 출력값 dt는 하기의 식으로부터 도출되는 것을 특징으로 하는 집중화 모델 학습 방법.(dt-1: 기출력된 제3 출력값, cr: 제2 출력값, : 기출력된 예측값)

10

제1항에 있어서,상기 집중화 가중치 (j,t)는 배치도 s(j,t)를 정규화하는 softmax함수를 사용하며, 하기의 식으로부터 도출되는 것을 특징으로 하는 집중화 모델 학습 방법.(s(j,t): 배치도, Vpt: 이전 주기에서 학습된 출력가중치, Ut: 입력가중치, Wt: 인코더부 내부 가중치, dt-1: 이전 주기에서 학습된 기출력된 제3 출력값, ej:제1 출력값)

11

제1항에 있어서,상기 (a) 단계 이전에, 전체데이터를 학습에 사용하는 상기 입력데이터와 검증에 사용하는 검증데이터로 분할하는 단계와,상기 (e) 단계 이후에, 상기 검증데이터의 출력 추정치를 계산하여 실제 출력값과 비교하는 단계를 더 포함하는 것을 특징으로 하는 집중화 모델 학습 방법.

12

복수의 입력데이터(xt)를 출력하는 입력부;상기 입력부로부터 상기 복수의 입력데이터를 입력 받아 상기 입력데이터 별로 미리 결정된 입력가중치(Ut)를 적용하고, 기(旣)출력된 제1 출력값(et-1)에 상기 기출력된 제1 출력값 별로 미리 결정된 인코더부 내부 가중치((Wet)를 적용하여 복수의 제1 출력값(et)을 출력하는 인코더부;상기 인코더부로부터 상기 복수의 제1 출력값을 입력 받아 상기 제1 출력값에 집중화 가중치를 적용한 제2 출력값(cr)을 출력하는 중간연결부;상기 중간연결부로부터 입력 받은 상기 제2 출력값과, 기출력된 제3 출력값(dt-1) 및 기출력된 예측값()에 기초한 복수의 제3 출력값(dt)을 출력하는 디코더부; 및상기 디코더부로부터 상기 복수의 제3 출력값을 입력 받아, 상기 제3 출력값에 상기 제3 출력값 별로 미리 결정된 출력가중치(Vt)를 적용한 예측값()을 출력하는 출력부를 포함하는 집중화 모델 학습 장치.

13

제12항에 있어서,상기 예측값을 출력한 횟수가 미리 설정된 값 미만인 경우, 상기 디코더부와 상기 출력부는 상기 제3 출력값과 상기 예측값을 반복적으로 출력하는 것을 특징으로 하는 집중화 모델 학습 장치.

14

제12항에 있어서,상기 복수의 제1 출력값 중에서 첫번째 제1 출력값에 적용되는 상기 인코더부 내부 가중치는 0인 것을 특징으로 하는 집중화 모델 학습 장치.

15

제12항에 있어서,상기 기출력된 제3 출력값은 디코더부 내부 가중치 (Wdt)를 포함하고,상기 기출력된 예측값은 상기 출력가중치를 포함하는 것을 특징으로 하는집중화 모델 학습 장치.

16

제15항에 있어서,상기 복수의 제3 출력값 중에서 첫번째 제3 출력값에 적용되는 상기 디코더부 내부 가중치는 0인 것을 특징으로 하는 집중화 모델 학습 장치.

17

제16항에 있어서,상기 입력가중치(Ut), 상기 인코더부 내부 가중치(Wet), 상기 디코더부 내부 가중치(Wdt) 및 상기 출력가중치(Vt)는 0과 1사이의 미리 결정된 독립적인 변수인 것을 특징으로 하는 집중화 모델 학습 장치.

18

제12항에 있어서,상기 제1 출력값 et는 하기 식으로부터 도출되는 것을 특징으로 하는 집중화 모델 학습 장치.(Ut: 입력가중치, Wet: 인코더부 내부 가중치, et-1: 기출력된 제1 출력값, xt: 입력데이터)

19

제12항에 있어서,상기 제3 출력값 dt는 하기의 식으로부터 도출되는 것을 특징으로 하는 집중화 모델 학습 장치.(dt-1: 기출력된 제3 출력값, cr: 제2 출력값, : 기출력된 예측값)

20

제12항에 있어서,상기 예측값 는 하기의 식으로부터 도출되는 것을 특징으로 하는 집중화 모델 학습 장치.(Vt: 출력 가중치, dt: 제3 출력값)

21

제12항에 있어서,상기 집중화 가중치 (j,t)는 배치도 s(j,t)를 정규화하는 softmax함수를 사용하며, 하기의 식으로부터 도출되는 것을 특징으로 하는 집중화 모델 학습 장치.(s(j,t): 배치도, Vpt: 이전 주기에서 학습된 출력가중치, Ut: 입력가중치, Wt: 인코더부 내부 가중치, dt-1: 이전 주기 학습에서 기출력된 제3 출력값, ej:제1 출력값)

22

제12항에 있어서전체데이터로부터 검증에 사용되는 검증데이터와 학습에 사용되는 상기 입력데이터로 분할하는 데이터 분할부와,상기 검증데이터의 출력 추정치를 계산하여 실제 출력값과 비교하는 검증부를 더 포함하는 집중화 모델 학습 장치.