| 번호 | 청구항 |
|---|---|
| 1 | 모듈(module) 단위 신경망으로 구성된 기반 네트워크(base network), 상기 기반 네트워크가 사용할 모듈을 선택하는 모듈 선택 네트워크(module selection network) 및 사용하고자 하는 기기별로 학습되는 기기 어댑터(device adapter)를 포함하는 네트워크 모델을 학습시키는 네트워크 모델 학습 프로그램을 저장하는 메모리; 및상기 네트워크 모델 학습 프로그램을 구동하는 프로세서;를 포함하고,상기 네트워크 모델 학습 프로그램은,상기 기반 네트워크가 모든 모듈을 선택하여 사용할 수 있도록 상기 기반 네트워크를 사전 학습시키고, 상기 모듈 선택 네트워크가 사전 학습된 상기 기반 네트워크를 이용하여 상기 기반 네트워크의 모듈 조합을 결정하도록 학습시키며, 상기 기기 어댑터가 사용하고자 하는 기기별로 상기 사전 학습된 기반 네트워크 및 상기 모듈 선택 네트워크의 추론 시간 데이터를 사용하여 추론 제약 시간을 만족하는 모듈 개수를 결정하도록 학습시키는, 네트워크 모델의 학습 장치. |
| 2 | 제 1 항에 있어서,상기 네트워크 모델을 학습시키는 프로그램은,상기 모듈 선택 네트워크가 사용할 모듈 개수를 무작위로 결정하고, 결정된 모듈 개수에 따라 상기 모듈 선택 네트워크가 한 번의 추론에 하나의 모듈을 선택하고, 추론이 두 번 이상 반복되면 선택한 모듈을 모듈 선택 값에 누적시키며, 상기 모듈 선택 네트워크가 선택한 모듈만 사용하여 상기 기반 네트워크의 행동 값을 얻고, 상기 행동 값과 사전 학습된 기반 네트워크의 행동 값 간의 거리를 구하고, 상기 모듈 선택 네트워크가 현재 추론 회차와 이전 추론 회차에서 얻은 거리 간의 차이를 보상 값으로 산출하는 과정을 결정한 모듈 개수만큼 반복하고, 반복에 따라 선택된 모듈 및 상기 보상 값에 기초하여 상기 기반 네트워크가 사용할 상기 모듈 조합을 얻도록 학습시키는, 네트워크 모델의 학습 장치. |
| 3 | 제 2 항에 있어서,상기 네트워크 모델을 학습시키는 프로그램은,상기 기반 네트워크의 일부 모듈만을 사용하는 경우에 있어서,상기 모듈 선택 네트워크가 반복 추론을 통해 얻은 상기 모듈 조합을 사용한 상기 기반 네트워크의 행동 값과 사전 학습된 기반 네트워크의 행동 값 간의 거리를 이용하여 상기 기반 네트워크를 미세 조정(fine-tuning)하는, 네트워크 모델의 학습 장치. |
| 4 | 제 2 항에 있어서,상기 네트워크 모델을 학습시키는 프로그램은,반복 추론을 통하여 학습된 상기 모듈 선택 네트워크를 교사 네트워크(teacher network)로 삼아 지식 증류(knowledge distillation)하여, 상기 모듈 선택 네트워크가 단일 추론하도록 학습시키는, 네트워크 모델의 학습 장치. |
| 5 | 제 4 항에 있어서상기 네트워크 모델을 학습시키는 프로그램은,상기 모듈 선택 네트워크가 사용하고자 하는 모듈 개수를 무작위로 결정하고, 결정한 상기 모듈 개수에 따라 상기 모듈 선택 네트워크가 선택한 모듈 중 상위 소정 개수만을 사용하고자 하는 모듈로 선택하여 얻어진 모듈 조합과, 반복 추론을 통하여 학습된 모듈 선택 네트워크에서 상기 모듈 조합과 동일 입력으로 얻은 모듈 조합 간의 차이를 이용하여 상기 모듈 선택 네트워크를 학습시키는, 네트워크 모델의 학습 장치. |
| 6 | 제 1 항에 있어서,상기 네트워크 모델을 학습시키는 프로그램은,상기 기기 어댑터가 상기 모듈 선택 네트워크가 결정한 모듈 개수에 따라 측정된 상기 모듈 선택 네트워크 및 상기 기반 네트워크의 추론시간을 학습 데이터셋으로 설정하고, 상기 기기 어댑터가 상기 학습 데이터셋을 반복 수집하여 입력된 추론 제약 시간에 따라 사용할 모듈 개수를 역으로 예측하도록 지도학습 시키는, 네트워크 모델의 학습 장치. |
| 7 | 사용하고자 하는 기기별로 학습되는 기기 어댑터(device adapter)를 통해 추론 제약 시간을 입력 받고, 미리 학습된 네트워크 모델의 기반 네트워크(base network)가 사용할 모듈(module) 조합을 결정하는 모듈 선택 네트워크(module selection network) 및 상기 기기 어댑터를 이용하여 입력된 상기 추론 제약 시간에 부합하는 모듈 조합을 동적으로 결정하고, 모듈 단위 신경망으로 구성된 상기 기반 네트워크를 이용하여 상기 결정된 모듈 조합만을 사용하고, 상기 기반 네트워크를 이용하여 사용하는 모듈 간 경로의 가중치를 동적으로 추론하도록 하는 네트워크 모델 추론 프로그램을 저장하는 메모리; 및상기 네트워크 모델 추론 프로그램을 구동하는 프로세서;를 포함하고,상기 미리 학습된 네트워크 모델은,네트워크 모델의 학습 장치를 통해 상기 기반 네트워크가 모든 모듈을 선택하여 사용할 수 있도록 상기 기반 네트워크가 사전 학습되고, 상기 모듈 선택 네트워크가 사전 학습된 상기 기반 네트워크를 이용하여 상기 기반 네트워크의 모듈 조합을 결정하도록 학습되며, 상기 기기 어댑터가 사용하고자 하는 기기별로 상기 사전 학습된 기반 네트워크 및 상기 모듈 선택 네트워크의 추론 시간 데이터를 사용하여 상기 추론 제약 시간을 만족하는 모듈 개수를 결정하도록 학습되는, 네트워크 모델의 추론 장치. |
| 8 | 제 7 항에 있어서,상기 미리 학습된 네트워크 모델은,상기 모듈 선택 네트워크가 반복 추론을 통하여 학습된 모듈 선택 네트워크를 교사 네트워크(teacher network)로 삼아 지식 증류(knowledge distillation)되어, 상기 모듈 선택 네트워크가 단일 추론하도록 학습되는, 네트워크 모델의 추론 장치. |
| 9 | 제 7 항에 있어서,상기 미리 학습된 네트워크 모델은,상기 기기 어댑터가 상기 모듈 선택 네트워크가 결정한 모듈 개수에 따라 측정된 상기 모듈 선택 네트워크 및 상기 기반 네트워크의 추론시간을 학습 데이터셋으로 설정하고, 상기 기기 어댑터가 상기 학습 데이터셋을 반복 수집하여 입력된 상기 추론 제약 시간에 따라 사용할 모듈 개수를 역으로 예측하도록 지도학습되는, 네트워크 모델의 추론 장치. |
| 10 | 네트워크 모델의 학습 장치가 추론 제약 시간에 따라 동적 추론을 하는 네트워크 모델을 학습하는 방법에 있어서,(a)모듈(module) 단위 신경망으로 구성된 기반 네트워크(base network)가 모든 모듈을 선택하여 사용할 수 있도록 상기 기반 네트워크를 사전 학습하는 단계;(b)사전 학습된 상기 기반 네트워크를 이용하여 상기 기반 네트워크의 모듈 조합을 결정하는 모듈 선택 네트워크(module selection network)를 학습하는 단계; 및(c)사용하고자 하는 기기별로 사전 학습된 상기 기반 네트워크 및 상기 모듈 선택 네트워크의 추론 시간 데이터를 사용하여 추론 제약 시간을 만족하는 모듈 개수를 결정하는 기기 어댑터(device adapter)를 학습하는 단계;를 포함하는, 네트워크 모델의 학습 방법. |
| 11 | 제 10 항에 있어서,상기 (b) 단계는,(b1)상기 모듈 선택 네트워크가 사용할 모듈 개수를 무작위로 결정하는 단계;(b2)결정된 모듈 개수에 따라 상기 모듈 선택 네트워크가 한 번의 추론에 하나의 모듈을 선택하고, 추론이 두 번 이상 반복되면 선택한 모듈을 모듈 선택 값에 누적시키는 단계;(b3)상기 모듈 선택 네트워크가 선택한 모듈만 사용하여 상기 기반 네트워크의 행동 값을 얻고, 상기 행동 값과 사전 학습된 기반 네트워크의 행동 값 간의 거리를 구하는 단계;(b4)상기 모듈 선택 네트워크가 현재 추론 회차와 이전 추론 회차에서 얻은 거리 간의 차이를 보상 값으로 산출하는 단계;(b5)상기 모듈 선택 네트워크가 결정한 모듈 개수만큼 상기 (b2) 내지 상기 (b4)단계를 반복하는 단계; 및(b6)상기 모듈 선택 네트워크가 상기 (b5) 단계의 반복에 따라 선택한 모듈 및 상기 보상 값에 기초하여 상기 기반 네트워크가 사용할 상기 모듈 조합을 얻는 단계;를 포함하는, 네트워크 모델의 학습 방법. |
| 12 | 제 11 항에 있어서,상기 (b)단계는,상기 기반 네트워크의 일부 모듈만을 사용하는 경우에 있어서, 상기 모듈 선택 네트워크가 반복 추론을 통해 얻은 상기 모듈 조합을 사용한 상기 기반 네트워크의 행동 값과 사전 학습된 기반 네트워크의 행동 값 간의 거리를 이용하여 상기 기반 네트워크를 미세 조정(fine-tuning)하는 단계;를 포함하는 네트워크 모델의 학습 방법. |
| 13 | 제 11 항에 있어서,상기 (b) 단계는,반복 추론을 통하여 학습된 상기 모듈 선택 네트워크를 교사 네트워크(teacher network)로 삼아 지식 증류(knowledge distillation)하여, 상기 모듈 선택 네트워크가 단일 추론하도록 학습하는 단계;를 더 포함하는 네트워크 모델의 학습 방법. |
| 14 | 제 13 항에 있어서,상기 모듈 선택 네트워크가 단일 추론하도록 학습하는 단계는,상기 모듈 선택 네트워크가 사용하고자 하는 모듈 개수를 무작위로 결정하고, 결정한 모듈 개수에 따라 상기 모듈 선택 네트워크가 선택한 모듈 중 상위 소정 개수만을 사용하고자 하는 모듈로 선택하여 모듈 조합을 얻는 단계; 및상기 모듈 선택 네트워크가 결정한 상기 모듈 조합과, 반복 추론을 통하여 학습된 모듈 선택 네트워크에서 상기 모듈 조합과 동일 입력으로 얻은 모듈 조합 간의 차이를 이용하여 상기 모듈 선택 네트워크를 학습하는 단계;를 포함하는 네트워크 모델의 학습 방법. |
| 15 | 제 10 항에 있어서,상기 (c) 단계는,상기 기기 어댑터가 상기 모듈 선택 네트워크가 결정한 모듈 개수에 따라 측정된 상기 모듈 선택 네트워크 및 상기 기반 네트워크의 추론시간을 학습 데이터셋으로 설정하는 단계; 및상기 기기 어댑터가 상기 학습 데이터셋을 반복 수집하여 입력된 추론 제약 시간에 따라 사용할 모듈 개수를 역으로 예측하도록 지도학습 하는 단계;를 포함하는 네트워크 모델의 학습 방법. |
| 16 | 네트워크 모델의 추론을 제어하는 장치가 사용하고자 하는 기기별로 학습되는 기기 어댑터(device adapter)를 통해 추론 제약 시간을 입력 받는 단계;상기 추론을 제어하는 장치가 미리 학습된 네트워크 모델의 기반 네트워크(base network)가 사용할 모듈(module) 조합을 결정하는 모듈 선택 네트워크(module selection network) 및 상기 기기 어댑터를 이용하여 입력된 상기 추론 제약 시간에 부합하는 모듈 조합을 동적으로 결정하는 단계; 및상기 추론을 제어하는 장치가 모듈 단위 신경망으로 구성된 상기 기반 네트워크를 이용하여 상기 결정된 모듈 조합을 사용하고, 상기 기반 네트워크를 이용하여 사용하는 모듈 간 가중치를 동적으로 추론하는 단계;를 포함하고,상기 미리 학습된 네트워크 모델은,네트워크 모델의 학습 장치를 통해 상기 기반 네트워크가 모든 모듈을 선택하여 사용할 수 있도록 상기 기반 네트워크가 사전 학습되고, 상기 모듈 선택 네트워크가 사전 학습된 상기 기반 네트워크를 이용하여 상기 기반 네트워크의 모듈 조합을 결정하도록 학습되며, 상기 기기 어댑터가 사용하고자 하는 기기별로 상기 사전 학습된 기반 네트워크 및 상기 모듈 선택 네트워크의 추론 시간 데이터를 사용하여 상기 추론 제약 시간을 만족하는 모듈 선택 개수를 결정하도록 학습되는, 네트워크 모델의 추론 방법. |
| 17 | 제 16 항에 있어서,상기 미리 학습된 네트워크 모델은,상기 모듈 선택 네트워크가 반복 추론을 통하여 학습된 모듈 선택 네트워크를 교사 네트워크(teacher network)로 삼아 지식 증류(knowledge distillation)되어, 상기 모듈 선택 네트워크가 단일 추론하도록 학습되는, 네트워크 모델의 추론 방법. |
| 18 | 제 17 항에 있어서,상기 미리 학습된 네트워크 모델은,상기 모듈 선택 네트워크가 사용하고자 하는 모듈 개수를 무작위로 결정하고, 결정한 상기 모듈 개수에 따라 상기 모듈 선택 네트워크가 선택한 모듈 중 상위 소정 개수만을 사용하고자 하는 모듈로 선택하여 얻어진 모듈 조합과, 반복 추론을 통하여 학습된 모듈 선택 네트워크에서 상기 모듈 조합과 동일 입력으로 얻은 모듈 조합 간의 차이를 이용하여 상기 모듈 선택 네트워크가 단일 추론하도록 학습되는, 네트워크 모델의 추론 방법. |
| 19 | 제 16 항에 있어서,상기 미리 학습된 네트워크 모델은,상기 기기 어댑터가 상기 모듈 선택 네트워크가 결정한 모듈 개수에 따라 측정된 상기 모듈 선택 네트워크 및 상기 기반 네트워크의 추론시간을 학습 데이터셋으로 설정하고, 상기 기기 어댑터가 상기 학습 데이터셋을 반복 수집하여 입력된 상기 추론 제약 시간에 따라 사용할 모듈 개수를 역으로 예측하도록 지도학습되는, 네트워크 모델의 추론 방법. |
| 20 | 제 10 항 내지 제 19 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한, 컴퓨터로 읽을 수 있는 기록매체. |