MAC 어레이 및 이를 포함하는 하드웨어 가속기
MAC ARRAY AND HARDWARE ACCELERATOR INCLUDING SAME
특허 요약
본 개시의 일 실시예에 따른 MAC 어레이를 포함하는 하드웨어 가속기는, 상기 MAC 어레이는, 복수의 어레이들, 및 제1 제어 신호에 기초하여 상기 복수의 어레이들 중 적어도 둘을 연결하거나 연결 해제하는 전역 멀티플렉서 로직을 포함하고, 상기 복수의 어레이들 각각은, 복수의 제1 서브 어레이들 및 제2 서브 어레이를 포함하는 복수의 서브 어레이들, 및 제2 제어 신호에 기초하여 상기 복수의 서브 어레이들을 연결하거나 연결 해제하는 지역 멀티플렉서 로직을 포함한다.
청구항
번호청구항
14

제11항에 있어서,상기 지역 멀티플렉서 로직은, 상기 제1 서브 어레이들의 마지막 행 또는 마지막 열에 배치되는 상기 복수의 MAC 연산기들에 연결되는 복수의 제2 멀티플렉서들을 포함하는, MAC 어레이.

1

MAC 어레이를 포함하는 하드웨어 가속기에 있어서,상기 MAC 어레이는:복수의 어레이들; 및제1 제어 신호에 기초하여 상기 복수의 어레이들 중 적어도 둘을 연결하거나 연결 해제하는 전역 멀티플렉서 로직을 포함하고,상기 복수의 어레이들 각각은:복수의 제1 서브 어레이들 및 제2 서브 어레이를 포함하는 복수의 서브 어레이들; 및제2 제어 신호에 기초하여 상기 복수의 서브 어레이들을 연결하거나 연결 해제하는 지역 멀티플렉서 로직을 포함하고,상기 복수의 어레이들은 상기 전역 멀티플렉서 로직에 의해 적어도 하나의 어레이 그룹으로 그루핑되는, 하드웨어 가속기.

2

제1항에 있어서,상기 MAC 어레이는 128 x 128의 행렬 연산을 수행하고,상기 복수의 어레이들 각각은 64 x 64의 행렬 연산을 수행하는, 하드웨어 가속기.

3

제2항에 있어서,상기 복수의 제1 서브 어레이들 각각에 9 x 64의 형태로 MAC 연산기들이 배치되고,상기 제2 서브 어레이에 1 x 64의 형태로 MAC 연산기들이 배치되는, 하드웨어 가속기.

4

제3항에 있어서,상기 복수의 어레이들의 개수는 4 개이고,상기 복수의 제1 서브 어레이들의 개수는 7 개인, 하드웨어 가속기.

5

제3항에 있어서,상기 MAC 연산기들 각각은:입력 값과 가중치 값 간의 곱셈을 수행하는 곱셈기;부분 합 값과 상기 곱셈기의 출력을 합산하는 덧셈기;상기 곱셈기의 출력의 정밀도를 변환하는 정밀도 변환기;상기 부분 합 값과 상기 정밀도 변환기의 출력을 합산하는 덧셈기 트리; 및제3 제어 신호에 기초하여, 상기 덧셈기의 출력 또는 상기 덧셈기 트리의 출력을 출력하는 제1 멀티플렉서를 포함하는, 하드웨어 가속기.

6

제5항에 있어서,상기 곱셈기는:상기 입력 값과 상기 가중치 값의 자료형이 정수형인 것에 기초하여 상기 입력 값과 상기 가중치 값 간의 곱셈을 수행하고, 상기 자료형이 부동소수점형인 것에 기초하여 상기 입력 값의 가수와 상기 가중치 값의 가수 간의 곱셈을 수행하는, 곱셈 로직;상기 자료형이 부동소수점형인 것에 기초하여 상기 입력 값의 지수와 상기 가중치 값의 지수를 합산하고, 상기 합산 결과에서 상기 입력 값의 지수와 상기 가중치 값의 지수의 비트 폭에 매핑된 바이어스 값을 감산하는, 덧셈 로직;상기 자료형이 부동소수점형인 것에 기초하여 상기 입력 값의 부호와 상기 가중치 값의 부호 간의 XOR 연산을 수행하는, XOR 로직;상기 자료형이 부동소수점형인 것에 기초하여 상기 곱셈 로직의 출력과 상기 덧셈 로직의 출력을 입력으로 받아 정규화하는, 정규화기;상기 자료형이 부동소수점형인 것에 기초하여 상기 정규화기의 출력과 상기 XOR 로직의 출력을 이용하여 기 정의된 비트 폭으로 반올림을 수행하는, 반올림기; 및상기 자료형이 정수형인 것에 기초하여 상기 곱셈 로직의 출력을 출력하고, 상기 자료형이 부동소수점형인 것에 기초하여 상기 반올림기의 출력을 출력하는, 제2 멀티플렉서를 포함하는, 하드웨어 가속기.

7

제1항에 있어서,상기 제1 제어 신호가 상기 MAC 어레이의 제1 동작 모드를 나타내는 것에 기초하여, 상기 전역 멀티플렉서 로직은 상기 복수의 어레이들 간의 연결을 해제하고,상기 제1 제어 신호가 상기 MAC 어레이의 제2 동작 모드를 나타내는 것에 기초하여, 상기 전역 멀티플렉서 로직은 상기 복수의 어레이들 중 적어도 둘을 연결하는, 하드웨어 가속기.

8

제1항에 있어서,상기 적어도 하나의 어레이 그룹 각각은 서로 다른 단일 테넌트(tenent)에 대한 연산을 수행하는, 하드웨어 가속기.

9

제1항에 있어서,상기 제2 제어 신호가 상기 복수의 어레이들의 제1 동작 모드를 나타내는 것에 기초하여, 상기 지역 멀티플렉서 로직은 상기 복수의 서브 어레이들 간의 연결을 해제하고,상기 제2 제어 신호가 상기 복수의 어레이들의 제2 동작 모드를 나타내는 것에 기초하여, 상기 지역 멀티플렉서 로직은 상기 복수의 서브 어레이들을 연결하는, 하드웨어 가속기.

10

제9항에 있어서,상기 복수의 서브 어레이들은, 제1 텐서와 제2 텐서 간의 컨볼루션 연산을 수행하여 부분합 텐서를 생성하고,상기 제2 제어 신호가 상기 복수의 어레이들의 제1 동작 모드를 나타내는 것에 기초하여, 상기 복수의 어레이들은 상기 복수의 서브 어레이들 각각이 출력하는 상기 부분합 텐서를 누적하고,상기 제2 제어 신호가 상기 복수의 어레이들의 제2 동작 모드를 나타내는 것에 기초하여, 상기 복수의 어레이들은 상기 복수의 서브 어레이들 각각이 출력하는 상기 부분합 텐서를 누적하지 않는, 하드웨어 가속기.

11

각각이 7 개의 제1 서브 어레이들, 1 개의 제2 서브 어레이, 및 지역 멀티플렉서 로직을 포함하는, 4 개의 어레이들;상기 어레이들 사이에 배치되는 전역 멀티플렉서 로직을 포함하되,상기 제1 서브 어레이들 각각은 9 x 64의 형태로 배치되는 복수의 MAC 연산기들을 포함하고,상기 제2 서브 어레이는 1 x 64의 형태로 배치되는 복수의 MAC 연산기들을 포함하고,상기 지역 멀티플렉서 로직은 상기 제1 서브 어레이들 및 상기 제2 서브 어레이 사이에 배치되고,상기 어레이들은 상기 전역 멀티플렉서 로직에 의해 적어도 하나의 어레이 그룹으로 그루핑되는, MAC 어레이.

12

제11항에 있어서,상기 전역 멀티플렉서 로직은, 상기 어레이들의 마지막 행, 마지막 열, 첫번째 행, 또는 첫번째 열에 배치되는 상기 복수의 MAC 연산기들 사이에 연결되는 복수의 제1 멀티플렉서들을 포함하는, MAC 어레이.

13

제12항에 있어서,상기 복수의 제1 멀티플렉서들 각각은:제1 제어 신호가 제1 논리 값에 대응하는 것에 기초하여, 상기 어레이들 중 하나의 출력을 상기 어레이들 중 다른 하나에 전달하고,상기 제1 제어 신호가 제2 논리 값에 대응하는 것에 기초하여, 상기 어레이들 중 하나의 출력을 상기 어레이들 중 다른 하나에 전달하지 않는, MAC 어레이.

15

제14항에 있어서,상기 복수의 제2 멀티플렉서들 각각은:제2 제어 신호가 제1 논리 값에 대응하는 것에 기초하여, 상기 제1 서브 어레이들 중 하나의 출력을 상기 제1 서브 어레이들 중 다른 하나 또는 상기 제2 서브 어레이에 전달하고,상기 제2 제어 신호가 제2 논리 값에 대응하는 것에 기초하여, 상기 제1 서브 어레이들 중 하나의 출력을 상기 제1 서브 어레이들 중 다른 하나 또는 상기 제2 서브 어레이에 전달하지 않는, MAC 어레이.

16

제15항에 있어서,상기 제2 제어 신호가 상기 제1 논리 값에 대응하는 경우, 상기 어레이들 각각은 64 x 64 행렬 연산을 수행하는, MAC 어레이.

17

제16항에 있어서,상기 어레이들 각각에, 열 방향으로 입력 채널에 대응하는 가중치 텐서의 값들이 프리페칭(prefetching)되고, 행 방향으로 출력 채널에 대응하는 상기 가중치 텐서의 값들이 프리페칭되는, MAC 어레이.

18

제15항에 있어서,상기 제2 제어 신호가 상기 제2 논리 값에 대응하는 경우, 상기 제1 서브 어레이들 각각에, 열 방향으로 가중치 텐서의 가중치 필터의 값들이 프리페칭되고, 행 방향으로 출력 채널에 대응하는 상기 가중치 텐서의 값들이 프리페칭되는, MAC 어레이.

19

제18항에 있어서,상기 제2 제어 신호가 상기 제2 논리 값에 대응하는 경우, 상기 제2 서브 어레이의 MAC 연산기들이 9개 씩 7개의 그룹들로 그루핑되는, MAC 어레이.

20

제19항에 있어서,상기 7 개의 그룹들 각각에 상기 가중치 텐서의 값들이 프리페칭되는, MAC 어레이.