서브 네트워크를 통한 인공지능 기반 생성모델 경량화 장치 및 방법
APPARATUS AND METHOD FOR LIGHTENING ARTIFICIAL INTELLIGENCE-BASED GENERATIVE MODELS THROUGH STRONG LOTTERY TICKETS
특허 요약
본 개시는 서브 네트워크를 통한 인공지능 기반 생성모델 경량화 장치 및 방법에 관한 것으로, 외부 장치와 통신을 수행하는 통신모듈; 인공지능을 기반으로 생성모델을 경량화하여 제공하기 위한 적어도 하나의 프로세스를 저장하는 저장모듈; 및 상기 적어도 하나의 프로세스를 기반으로 상기 인공지능을 기반으로 생성모델을 경량화하여 제공하기 위한 동작을 수행하는 제어모듈을 포함하며, 상기 제어모듈은, 엣지 팝업 알고리즘을 기반으로 덴스 네트워크에 대한 각각의 가중치에 랜덤 초기화된 스코어(s)를 할당하고, 임의의 서브 네트워크를 찾은 후, 각각의 순방향 경로에서 할당된 스코어를 정렬하여 기 설정된 상위 k% 스코어를 가지는 가중치를 남기고 역전파를 활용하여 스코어를 업데이트 할 수 있다.
청구항
번호청구항
1

외부 장치와 통신을 수행하는 통신모듈;인공지능을 기반으로 생성모델을 경량화하여 제공하기 위한 적어도 하나의 프로세스를 저장하는 저장모듈; 및상기 적어도 하나의 프로세스를 기반으로 상기 인공지능을 기반으로 생성모델을 경량화하여 제공하기 위한 동작을 수행하는 제어모듈을 포함하며,상기 제어모듈은,엣지 팝업 알고리즘을 기반으로 덴스 네트워크에 대한 각각의 가중치에 랜덤 초기화된 스코어(s)를 할당하고, 임의의 서브 네트워크를 찾은 후, 각각의 순방향 경로에서 할당된 스코어를 정렬하여 기 설정된 상위 k% 스코어를 가지는 가중치를 남기고 역전파를 활용하여 스코어를 업데이트 하는 것을 특징으로 하는,서브 네트워크를 통한 인공지능 기반 생성모델 경량화 장치.

2

제1항에 있어서,상기 제어모듈은,상기 기 설정된 상위 k% 스코어를 가지는 가중치를 남기고 다른 웨이트를 0으로 만들고, 역방향 경로에서는 상기 서브 네트워크의 로스를 산출하여 역전파를 활용하도록 하는 것을 특징으로 하는,서브 네트워크를 통한 인공지능 기반 생성모델 경량화 장치.

3

제1항에 있어서,상기 제어모듈은,상기 서브 네트워크의 로스를 산출할 시, 상기 서브 네트워크를 통해 생성된 이미지와 실제 이미지를 임베딩 스케이스로 보내 최대 평균 불일치(Maxkmum Mean Discrepancy, MMD) 스코어를 산출하는 것을 특징으로 하는,서브 네트워크를 통한 인공지능 기반 생성모델 경량화 장치.

4

제3항에 있어서,상기 제어모듈은,두 개의 샘플 셋으로서 실제 샘플 및 가짜 샘플에 대해 모든 차수의 모멘트를 매칭함으로써 상기 최대 평균 불일치를 산출하는 것을 특징으로 하는,서브 네트워크를 통한 인공지능 기반 생성모델 경량화 장치.

5

제4항에 있어서,상기 최대 평균 불일치는,하기 003c#수학식 1003e#을 기초로 산출되는 것을 특징으로 하는,서브 네트워크를 통한 인공지능 기반 생성모델 경량화 장치.[수학식 1]여기서, ri는 진짜 샘플을 나타내고, fj는 가짜 샘플을 나타내는 것임.

6

제1항에 있어서,상기 제어모듈은,상기 모멘트 매칭을 위해 사전 학습된 VGG 네트워크를 커널로 하는 것을 특징으로 하는, 서브 네트워크를 통한 인공지능 기반 생성모델 경량화 장치.

7

제6항에 있어서,상기 제어모듈은,상기 스코어를 업데이트 하는 동작을 반복적으로 수행함으로써, SLTs(Strong Lottery Tickets)를 찾아내는 것을 특징으로 하는,서브 네트워크를 통한 인공지능 기반 생성모델 경량화 장치.

8

장치에 의해 수행되는, 서브 네트워크를 통한 인공지능 기반 생성모델 경량화 방법에 있어서,엣지 팝업 알고리즘을 기반으로 덴스 네트워크에 대한 각각의 가중치에 랜덤 초기화된 스코어(s)를 할당하는 단계;임의의 서브 네트워크를 찾는 단계;각각의 순방향 경로에서 할당된 스코어를 정렬하는 단계; 및기 설정된 상위 k% 스코어를 가지는 가중치를 남기고 역전파를 활용하여 스코어를 업데이트 하는 단계를 포함하는 것을 특징으로 하는,서브 네트워크를 통한 인공지능 기반 생성모델 경량화 방법.

9

제8항에 있어서,상기 업데이트 하는 단계는,상기 기 설정된 상위 k% 스코어를 가지는 가중치를 남기고 다른 웨이트를 0으로 만들고, 역방향 경로에서는 상기 서브 네트워크의 로스를 산출하여 역전파를 활용하도록 하는 것을 특징으로 하는,서브 네트워크를 통한 인공지능 기반 생성모델 경량화 방법.

10

제1항에 있어서,상기 업데이트 하는 단계는,상기 서브 네트워크의 로스를 산출할 시, 상기 서브 네트워크를 통해 생성된 이미지와 실제 이미지를 임베딩 스케이스로 보내 최대 평균 불일치(Maxkmum Mean Discrepancy, MMD) 스코어를 산출하는 것을 특징으로 하는,서브 네트워크를 통한 인공지능 기반 생성모델 경량화 방법.