시냅스 어레이 소자 및 이를 이용한 인공 신경망 학습 방법
Synaptic array device and artificial neural network learning method using it
특허 요약
본 발명의 일 실시예에 따른 시냅스 어레이 소자는 가중치 값(weight)을 나타내는 제1 시냅스 어레이와, 상기 제1 시냅스 어레이의 가중치 값의 에러 변화 값(gradient)을 전달받아 행 단위로 정제한 변화 값을 나타내는 제2 시냅스 어레이와, 상기 제2 시냅스 어레이로부터 행 단위로 정제된 변화 값을 전달받고, 이 중 임계 값(threshold)이 초과된 부분을 상기 제1 시냅스 어레이로 전달하는 제3 시냅스 어레이를 포함하며, 상기 제3 시냅스 어레이는 상기 제2 시냅스 어레이로부터 전달받은 값들의 누적 값을 평균 내어 이동 평균 값을 도출하고, 도출된 이동 평균 값을 상기 제2 시냅스 어레이로 전달하는 것을 특징으로 한다.
청구항
번호청구항
1

가중치 값(weight)을 나타내는 제1 시냅스 어레이;상기 제1 시냅스 어레이로부터 가중치 값의 에러 변화 값(gradient)을 매트릭스로 전달받고, 상기 매트릭스를 행 단위로 정제된 변화 값으로 나타내는 제2 시냅스 어레이; 및상기 제2 시냅스 어레이로부터 행 단위로 정제된 변화 값을 전달받고, 이 중 임계 값(threshold)이 초과된 부분을 상기 제1 시냅스 어레이로 전달하는 제3 시냅스 어레이를 포함하며, 상기 제3 시냅스 어레이는 상기 제2 시냅스 어레이로부터 전달받은 값들의 누적 값을 평균 내어 이동 평균 값을 도출하고, 도출된 이동 평균 값을 상기 제2 시냅스 어레이로 전달하되, 상기 이동 평균 값은 기존의 평균 값과 새로운 제2 시냅스 어레이의 값을 특정 비율로 더해주는 형태로 계산될 수 있으며, 특정 비율은 일정하게 유지되거나 해당 값을 변동하여 수렴 정도를 조절하는 것을 특징으로 하는 시냅스 어레이 소자.

2

제1 항에 있어서, 상기 제1 시냅스 어레이 및 제2 시냅스 어레이는 아날로그(analog) 어레이 디바이스를 사용하고, 상기 제3 시냅스 어레이는 디지털(digital) 상에 위치된 것을 특징으로 하는 시냅스 어레이 소자.

3

제1 항에 있어서, 상기 제1 시냅스 어레이, 제2 시냅스 어레이 및 제3 시냅스 어레이들 사이의 학습(training) 과정이 반복될수록 상기 제2 시냅스 어레이는 '0'에 수렴하고, 변화 값은 '0'에 인접하는 것을 특징으로 하는 시냅스 어레이 소자.

4

제1 항에 있어서, 상기 제2 시냅스 어레이의 이동 평균 값 전달 시 계속적으로 이동 평균 값을 업데이트 하여 이를 오프 셋(off set)으로 설정하는 것을 특징으로 하는 시냅스 어레이 소자.

5

삭제

6

아날로그 어레이 디바이스인 제1 시냅스 어레이 및 제2 시냅스 어레이와 디지털 상에 위치된 제3 시냅스 어레이를 포함하는 시냅스 어레이 소자를 이용한 인공 신경망 학습 방법에 있어서,상기 제1 시냅스 어레이를 통해 매트릭스로 구성된 가중치 값의 에러 변화 값(gradient)을 제2 시냅스 어레이로 전달하는 단계;상기 제2 시냅스 어레이를 통해 상기 매트릭스의 에러 변화 값을 행 단위로 정제하고, 상기 행 단위로 정제된 해당 에러 변화 값을 상기 제3 시냅스 어레이로 전달하는 단계; 및상기 제3 시냅스 어레이를 통해 상기 제2 시냅스 어레이로부터 전달받은 변화 값들의 누적 값을 평균내어 이동 평균 값을 도출하고, 이동 평균 값을 다시 상기 제2 시냅스 어레이로 전달하는 단계를 포함하며, 상기 이동 평균 값은 기존의 평균 값과 새로운 제2 시냅스 어레이의 값을 특정 비율로 더해주는 형태로 계산될 수 있으며, 특정 비율은 일정하게 유지되거나 해당 값을 변동하여 수렴 정도를 조절하는 것을 특징으로 하는 인공 신경망 학습 방법.

7

삭제

8

제6 항에 있어서, 상기 이동 평균 값(moving average)은 아래의 003c#수학식 1003e#과 같은 방식으로 계산되는 것을 특징으로 하는 인공 신경망 학습 방법. 003c#수학식 1003e#

9

제8 항에 있어서, 상기 003c#수학식 1003e#의 윈도우(window) 값은 해당 값을 조절하여 수렴 정도를 조절할 수 있으며, 이 값은 경우에 따라 일정하거나 에포크(epoch)에 따라 이동 평균 값이나 상기 제1 시냅스 어레이 및 상기 제2 시냅스 어레이 값에 대한 함수로 지속적으로 변화 가능한 것을 특징으로 하는 인공 신경망 학습 방법.

10

제6 항에 있어서,상기 해당 에러 변화 값을 상기 제3 시냅스 어레이로 전달하는 단계에서상기 이동 평균 값을 지속적으로 업데이트 하여 이를 오프셋(offset) 처리하는 것을 특징으로 하는 인공 신경망 학습 방법.

11

제10 항에 있어서,상기 업데이트가 진행될 때마다 주기적인 감쇠를 넣어줄 수 있으며, 상기 주기적인 감쇠는 0과 1사이의 감마 파라미터(gamma parameter)를 정의하고, 이를 이동 평균 값에 곱해줌으로서 이동 평균 값을 감소시키는 방식으로 적용하는 것을 특징으로 하는 인공 신경망 학습 방법.