연속 학습 방법 및 장치
CONTINUAL LEARNING METHOD AND APPARATUS
특허 요약
컴퓨팅 장치가 복수의 태스크를 순차적으로 학습하는 연속 학습 방법을 수행한다. 컴퓨팅 장치는 복수의 태스크 중 현재 태스크의 학습을 위한 신경망의 순방향 경로에서 복수의 태스크 중 이전 태스크에서 선택된 가중치를 포함하는 복수의 가중치를 사용하고, 현재 태스크의 학습을 위한 신경망의 역방향 경로에서 선택된 가중치를 동결하고, 복수의 가중치 중 선택된 가중치를 제외한 가중치를 갱신하고, 각 가중치의 가중치 점수에서 기초해서 복수의 가중치 중 일부 가중치를 선택하는 바이너리 마스크를 획득하고, 바이너리 마스크로 현재 태스크를 위한 신경망의 서브 네트워크를 찾는다.
청구항
번호청구항
1

컴퓨팅 장치에 의해 수행되는, 복수의 태스크를 순차적으로 학습하는 연속 학습 방법으로서,상기 복수의 태스크 중 현재 태스크의 학습을 위한 신경망의 순방향 경로에서 상기 복수의 태스크 중 이전 태스크에서 선택된 가중치를 포함하는 복수의 가중치를 사용하는 단계,상기 현재 태스크의 학습을 위한 신경망의 역방향 경로에서 상기 선택된 가중치를 동결하고, 상기 복수의 가중치 중 상기 선택된 가중치를 제외한 가중치를 갱신하는 단계,각 가중치의 가중치 점수에서 기초해서 상기 복수의 가중치 중 일부 가중치를 선택하는 바이너리 마스크를 획득하는 단계, 그리고상기 바이너리 마스크로 상기 현재 태스크를 위한 상기 신경망의 서브 네트워크를 찾는 단계를 포함하는 연속 학습 방법.

2

제1항에서,상기 바이너리 마스크는 상기 복수의 가중치 중에서 상기 가중치 점수가 상위 c%에 속하는 가중치를 상기 일부 가중치로 선택하며,상기 c는 목표 용량 비율인연속 학습 방법.

3

제2항에서,상기 바이너리 마스크는 상기 신경망의 레이어별로 상기 가중치 점수가 상위 c%에 속하는 가중치를 상기 일부 가중치로 선택하는, 연속 학습 방법.

4

제1항에서,상기 가중치를 갱신하는 단계는 상기 복수의 태스크 중에서 최초 태스크부터 상기 이전 태스크까지 획득된 바이너리 마스크를 누적한 누적 바이너리 마스크에 기초해서, 상기 선택된 가중치를 동결하고 상기 복수의 가중치 중 상기 선택된 가중치를 제외한 가중치를 갱신하는 단계를 포함하는, 연속 학습 방법.

5

제4항에서,상기 바이너리 마스크에 의해 선택된 가중치에 기초해서 손실을 계산하는 단계를 더 포함하며,상기 가중치를 갱신하는 단계는 상기 누적 바이너리 마스크와 상기 손실에 기초해서, 상기 선택된 가중치를 동결하고 상기 복수의 가중치 중 상기 선택된 가중치를 제외한 가중치를 갱신하는 단계를 포함하는, 연속 학습 방법.

6

제1항에서,상기 바이너리 마스크에 의해 선택된 가중치에 기초해서 손실을 계산하는 단계, 그리고상기 손실에 기초해서 상기 가중치 점수를 갱신하는 단계를 더 포함하는 연속 학습 방법.

7

제1항에서,상기 복수의 태스크 중에서 최초 태스크부터 상기 현재 태스크까지 획득된 상기 바이너리 마스크를 누적한 누적 바이너리 마스크를 획득하는 단계를 더 포함하는 연속 학습 방법.

8

제1항에서,상기 복수의 태스크에 획득된 복수의 바이너리 마스크를 하나의 누적된 마스크로 변환하는 단계, 그리고상기 누적된 마스크를 바이너리 맵으로 압축하는 단계를 더 포함하는 연속 학습 방법.

9

제8항에서,상기 누적된 마스크는 십진수 마스크이며,상기 누적된 마스크를 바이너리 맵으로 압축하는 단계는상기 십진수 마스크의 각 정수를 아스키 코드로 변경하여 N 비트 이진수 마스크를 생성하는 단계, 그리고상기 N 비트 이진수 마스크를 무손실 압축 알고리즘으로 압축하는 단계를 포함하는 연속 학습 방법.

10

하나 이상의 명령어를 저장하는 메모리, 그리고프로세서를 포함하며,상기 프로세서는 상기 명령어를 실행함으로써,복수의 태스크 중 현재 태스크의 학습을 위한 신경망의 순방향 경로에서 상기 복수의 태스크 중 이전 태스크에서 선택된 가중치를 포함하는 복수의 가중치를 사용하고,상기 현재 태스크의 학습을 위한 신경망의 역방향 경로에서 상기 선택된 가중치를 동결하고, 상기 복수의 가중치 중 상기 선택된 가중치를 제외한 가중치를 갱신하고,각 가중치의 가중치 점수에서 기초해서 상기 복수의 가중치 중 일부 가중치를 선택하는 바이너리 마스크를 획득하고,상기 바이너리 마스크로 상기 현재 태스크를 위한 상기 신경망의 서브 네트워크를 찾는 연속 학습 장치.

11

제10항에서,상기 바이너리 마스크는 상기 복수의 가중치 중에서 상기 가중치 점수가 상위 c%에 속하는 가중치를 상기 일부 가중치로 선택하며,상기 c는 목표 용량 비율인연속 학습 장치.

12

제11항에서,상기 바이너리 마스크는 상기 신경망의 레이어별로 상기 가중치 점수가 상위 c%에 속하는 가중치를 상기 일부 가중치로 선택하는, 연속 학습 장치.

13

제10항에서,상기 프로세서는 상기 복수의 태스크 중에서 최초 태스크부터 상기 이전 태스크까지 획득된 바이너리 마스크를 누적한 누적 바이너리 마스크에 기초해서, 상기 선택된 가중치를 동결하고 상기 복수의 가중치 중 상기 선택된 가중치를 제외한 가중치를 갱신하는, 연속 학습 장치.

14

제13항에서,상기 프로세서는상기 바이너리 마스크에 의해 선택된 가중치에 기초해서 손실을 계산하고,상기 누적 바이너리 마스크와 상기 손실에 기초해서, 상기 선택된 가중치를 동결하고 상기 복수의 가중치 중 상기 선택된 가중치를 제외한 가중치를 갱신하는연속 학습 장치.

15

제10항에서,상기 프로세서는상기 바이너리 마스크에 의해 선택된 가중치에 기초해서 손실을 계산하고,상기 손실에 기초해서 상기 가중치 점수를 갱신하는 를 더 포함하는 연속 학습 장치.

16

제10항에서,상기 프로세서는, 상기 복수의 태스크 중에서 최초 태스크부터 상기 현재 태스크까지 획득된 상기 바이너리 마스크를 누적한 누적 바이너리 마스크를 획득하는, 연속 학습 장치.

17

제10항에서,상기 프로세서는상기 복수의 태스크에 획득된 복수의 바이너리 마스크를 하나의 누적된 마스크로 변환하고,상기 누적된 마스크를 바이너리 맵으로 압축하는 연속 학습 장치.

18

제17항에서,상기 누적된 마스크는 십진수 마스크이며,상기 프로세서는상기 십진수 마스크의 각 정수를 아스키 코드로 변경하여 N 비트 이진수 마스크를 생성하고,상기 N 비트 이진수 마스크를 무손실 압축 알고리즘으로 압축하는연속 학습 장치.

19

컴퓨팅 장치에 의해 실행되며, 기록 매체에 저장되어 있는 컴퓨터 프로그램으로서,상기 컴퓨터 프로그램은 상기 컴퓨팅 장치가,복수의 태스크 중 현재 태스크의 학습을 위한 신경망의 순방향 경로에서 상기 복수의 태스크 중 이전 태스크에서 선택된 가중치를 포함하는 복수의 가중치를 사용하는 단계,상기 현재 태스크의 학습을 위한 신경망의 역방향 경로에서 상기 선택된 가중치를 동결하고, 상기 복수의 가중치 중 상기 선택된 가중치를 제외한 가중치를 갱신하는 단계,각 가중치의 가중치 점수에서 기초해서 상기 복수의 가중치 중 일부 가중치를 선택하는 바이너리 마스크를 획득하는 단계, 그리고상기 바이너리 마스크로 상기 현재 태스크를 위한 상기 신경망의 서브 네트워크를 찾는 단계를 실행하도록 하는 컴퓨터 프로그램.