엔트로피 가중 적대적 학습 방법 및 장치
METHOD AND APPARATUS FOR ENTROPY WEIGHTED ADVERSARIAL TRAINING
특허 요약
컴퓨팅 장치가 훈련 데이터 세트로부터 복수의 샘플을 포함하는 배치를 샘플링하고, 복수의 샘플로부터 각각 복수의 적대적 샘플을 생성하고, 복수의 적대적 샘플 중 i번째 적대적 샘플을 학습 모델에 입력하여 태스크를 수행하여 예측 값을 생성한다. 컴퓨팅 장치는 i번째 적대적 샘플의 예측 값에 기초해서 엔트로피를 계산하고, i번째 적대적 샘플의 상기 엔트로피에 기초해서 가중치를 계산하고, i번째 적대적 샘플의 예측 값에 의해 정의되는 손실에 가중치를 적용한 손실과 i번째 적대적 샘플의 학습 모델에서의 손실에 기초해서 최종 손실을 계산한다.
청구항
번호청구항
1

컴퓨팅 장치에 의해 수행되는, 엔트로피 가중 적대적 학습 방법으로서,훈련 데이터 세트로부터 복수의 샘플을 포함하는 배치를 샘플링하는 단계,상기 복수의 샘플로부터 각각 복수의 적대적 샘플을 생성하는 단계,상기 복수의 적대적 샘플 중 i번째 적대적 샘플을 학습 모델에 입력하여 태스크를 수행하여 예측 값을 생성하는 단계,상기 i번째 적대적 샘플의 상기 예측 값에 기초해서 엔트로피를 계산하는 단계,상기 i번째 적대적 샘플의 상기 엔트로피에 기초해서 가중치를 계산하는 단계, 그리고상기 i번째 적대적 샘플의 상기 예측 값에 의해 정의되는 손실에 상기 가중치를 곱한 엔트로피 가중 손실과 상기 i번째 적대적 샘플의 상기 학습 모델에서의 손실에 기초해서 최종 손실을 계산하는 단계를 포함하는 엔트로피 가중 적대적 학습 방법.

2

제1항에서,상기 가중치는 상기 엔트로피에 비례하는, 엔트로피 가중 적대적 학습 방법.

3

제1항에서,상기 가중치를 계산하는 단계는 상기 엔트로피를 상기 배치의 평균으로 정규화하여 상기 가중치를 생성하는 단계를 포함하는, 엔트로피 가중 적대적 학습 방법.

4

제1항에서,상기 엔트로피는 상기 예측 값의 소프트맥스 확률에 의해 정의되는, 엔트로피 가중 적대적 학습 방법.

5

제1항에서,상기 학습 모델이 표준 적대적 학습을 사용하는 경우, 상기 예측 값에 의해 정의되는 손실은 상기 i번째 적대적 샘플의 상기 예측 값과 상기 복수의 샘플 중 i번째 샘플에 대응하는 레이블에 의해 정의되는 교차 엔트로피 손실을 포함하는, 엔트로피 가중 적대적 학습 방법.

6

제5항에서,상기 학습 모델에서의 손실은 상기 교차 엔트로피 손실을 포함하는, 엔트로피 가중 적대적 학습 방법.

7

제1항에서,상기 학습 모델이 TRADES를 사용하는 경우, 상기 예측 값에 의해 정의되는 손실은 상기 i번째 적대적 샘플의 상기 예측 값과 상기 복수의 샘플 중 i번째 샘플을 상기 학습 모델에 입력하여 상기 태스크를 수행하여 생성된 예측 값에 의해 정의되는 KL(Kullback-Leibler) 다이버전스 손실을 포함하는, 엔트로피 가중 적대적 학습 방법.

8

제7항에서,상기 학습 모델에서의 손실은 상기 KL(Kullback-Leibler) 다이버전스 손실에 파라미터가 곱해진 값 및 상기 i번째 적대적 샘플의 상기 예측 값과 상기 i번째 샘플에 대응하는 레이블에 의해 정의되는 교차 엔트로피 손실을 포함하는, 엔트로피 가중 적대적 학습 방법.

9

제1항에서,상기 복수의 적대적 샘플을 생성하는 단계는 상기 복수의 샘플 중 i번째 샘플로부터 소정 반경 내의 손실을 최대화하는 교란을 검색함으로써 상기 i번째 적대적 샘플을 생성하는 단계를 포함하는, 엔트로피 가중 적대적 학습 방법.

10

하나 이상의 명령어를 저장하는 메모리, 그리고프로세서를 포함하며,상기 프로세서는 상기 명령어를 실행함으로써,훈련 데이터 세트로부터 복수의 샘플을 포함하는 배치를 샘플링하고,상기 복수의 샘플로부터 각각 복수의 적대적 샘플을 생성하고,상기 복수의 적대적 샘플 중 i번째 적대적 샘플을 학습 모델에 입력하여 태스크를 수행하여 예측 값을 생성하고,상기 i번째 적대적 샘플의 상기 예측 값에 기초해서 엔트로피를 계산하고,상기 i번째 적대적 샘플의 상기 엔트로피에 기초해서 가중치를 계산하고,상기 i번째 적대적 샘플의 상기 예측 값에 의해 정의되는 손실에 상기 가중치를 곱한 엔트로피 가중 손실과 상기 i번째 적대적 샘플의 상기 학습 모델에서의 손실에 기초해서 최종 손실을 계산하는 엔트로피 가중 적대적 학습 장치.

11

제10항에서,상기 가중치는 상기 엔트로피에 비례하는, 엔트로피 가중 적대적 학습 장치.

12

제10항에서,상기 프로세서는 상기 엔트로피를 상기 배치의 평균으로 정규화하여 상기 가중치를 계산하는, 엔트로피 가중 적대적 학습 장치.

13

컴퓨팅 장치에 의해 실행되며, 기록 매체에 저장되어 있는 컴퓨터 프로그램으로서,상기 컴퓨터 프로그램은 상기 컴퓨팅 장치가,훈련 데이터 세트로부터 복수의 샘플을 포함하는 배치를 샘플링하는 단계,상기 복수의 샘플로부터 각각 복수의 적대적 샘플을 생성하는 단계,상기 복수의 적대적 샘플 중 i번째 적대적 샘플을 학습 모델에 입력하여 태스크를 수행하여 예측 값을 생성하는 단계,상기 i번째 적대적 샘플의 상기 예측 값에 기초해서 엔트로피를 계산하는 단계,상기 i번째 적대적 샘플의 상기 엔트로피에 기초해서 가중치를 계산하는 단계, 그리고상기 i번째 적대적 샘플의 상기 예측 값에 의해 정의되는 손실에 상기 가중치를 곱한 엔트로피 가중 손실과 상기 i번째 적대적 샘플의 상기 학습 모델에서의 손실에 기초해서 최종 손실을 계산하는 단계를 실행하도록 하는 컴퓨터 프로그램.

14

제13항에서,상기 가중치는 상기 엔트로피에 비례하는, 컴퓨터 프로그램.

15

제13항에서,상기 컴퓨터 프로그램은 상기 컴퓨팅 장치가 상기 엔트로피를 상기 배치의 평균으로 정규화하여 상기 가중치를 계산하도록 하는, 컴퓨터 프로그램.