| 번호 | 청구항 |
|---|---|
| 1 | 학습 데이터를 입력하기 위한 데이터 입력 모듈; 및상기 학습 데이터를 기초로 인공지능 모델의 학습 처리를 수행하기 위한 학습 처리 모듈의 동작을 제어하는 프로세서를 포함하고,상기 프로세서는,사전에 전처리된 입력 이미지 및 상기 입력 이미지의 개념 정보를 포함하는 상기 학습 데이터를 수신하고,상기 학습 데이터를 기초로 제1 인공지능 모델의 학습 처리를 수행하되, 상기 입력 이미지를 통해 상기 입력 이미지의 개념 정보가 예측되도록 학습 처리하고,상기 입력 이미지의 개념 정보를 기초로 목표 작업에 대한 확률값을 출력하는 학습을 처리하여 상기 제1 인공지능 모델의 학습 처리를 완료하고,제2 인공지능 모델을 이용하여 상기 제1 인공지능 모델을 압축하여 지식 증류 학습 처리를 수행하고,상기 학습 데이터는 하기 수학식 1이고,상기 제1 인공지능 모델은 개념 병목 모델(Concept Bottleneck Model, CBM)을 포함하고,상기 제2 인공지능 모델은 교사 모델 및 학생 모델을 포함하고,상기 개념 병목 모델을 학습할 때, 하기 수학식 2를 이용하며,상기 개념 병목 모델을 압축하여 지식 증류 기반으로 학습하기 위한 상기 교사 모델을 사전 학습하고, 상기 교사 모델의 각 레이어의 채널값을 절반으로 줄인 상기 학생 모델을 지식 증류 학습 처리를 수행하되,상기 학생 모델이 상기 교사 모델의 확률 분포를 모사하도록 처리할 때,상기 교사 모델과 상기 학생 모델의 확률 분포 간의 차이를 최소화하는 하기 수학식 5를 이용하는 것을 특징으로 하는, 개념 병목 모델 기반 지식 증류 학습 장치.[수학식 1][수학식 2][수학식 5]여기에서, x는 입력 이미지, y는 목표 클래스, c는 개념 벡터, g(x)는 개념 정보 학습 네트워크, f(x)는 목표 작업 학습 네트워크, 은 손실함수, 는 목표 작업 학습 및 개념 정보 학습 간의 가중치 조절을 위한 값, S는 학생 모델, T는 교사 모델, 는 각 모델의 학습 파라미터, 는 이미지 분류를 위한 크로스엔트로피(cross entropy) 손실함수, 는 학생 모델과 교사 모델 간의 확률 분포 차이를 최소화하기 위한 손실함수임. |
| 2 | 삭제 |
| 3 | 삭제 |
| 4 | 삭제 |
| 5 | 제1항에 있어서,상기 프로세서는,상기 입력 이미지의 개념 정보가 예측되도록 학습 처리를 수행할 때, 상기 입력 이미지를 개념 공간에 매핑하여 개념 정보를 예측하는, 개념 병목 모델 기반 지식 증류 학습 장치. |
| 6 | 삭제 |
| 7 | 제1항에 있어서,상기 프로세서는,수학식 3을 통해 상기 교사 모델의 출력 값을 소프트맥스(softmax) 함수를 이용하여 확률값()으로 산출하고,[수학식 3] 상기 는 교사 모델(T)의 출력값, 상기 는 온도(temperature) 하이퍼파라미터인, 개념 병목 모델 기반 지식 증류 학습 장치. |
| 8 | 제7항에 있어서,상기 프로세서는,수학식 4를 통해 상기 학생 모델의 출력 값을 소프트맥스(softmax) 함수를 이용하여 확률값()으로 산출하고,[수학식 4]상기 는 학생 모델(S)의 출력값, 상기 는 온도(temperature) 하이퍼파라미터인, 개념 병목 모델 기반 지식 증류 학습 장치. |
| 9 | 제8항에 있어서,상기 프로세서는,상기 지식 증류 학습 처리 시, 상기 교사 모델과 상기 학생 모델 간의 시각적 설명의 분포 차를 축소하기 위해 사전 설정된 시각적 개념 전이 기반의 지식 증류 학습 처리를 수행하는, 개념 병목 모델 기반 지식 증류 학습 장치. |
| 10 | 제9항에 있어서,상기 프로세서는, 압축된 상기 개념 병목 모델의 가중치를 기초로 테스트 이미지를 추론 예측하는 모델 추론 모듈을 더 포함하는, 개념 병목 모델 기반 지식 증류 학습 장치. |
| 11 | 지식 증류 학습 장치에 의해 수행되는 방법에 있어서, 상기 지식 증류 학습 장치가 사전에 전처리된 입력 이미지 및 상기 입력 이미지의 개념 정보를 포함하는 학습 데이터를 수신하는 단계;상기 학습 데이터를 기초로 제1 인공지능 모델의 학습 처리를 수행하되, 상기 입력 이미지를 통해 상기 입력 이미지의 개념 정보가 예측되도록 학습 처리하는 단계;상기 입력 이미지의 개념 정보를 기초로 목표 작업에 대한 확률값을 출력하는 학습을 처리하여 상기 제1 인공지능 모델의 학습 처리를 완료하는 단계; 및제2 인공지능 모델을 이용하여 상기 제1 인공지능 모델을 압축하여 지식 증류 학습 처리를 수행하는 단계를 포함하고,상기 학습 데이터는 하기 수학식 1이고,상기 제1 인공지능 모델은 개념 병목 모델(Concept Bottleneck Model, CBM)을 포함하고,상기 제2 인공지능 모델은 교사 모델 및 학생 모델을 포함하고,상기 개념 병목 모델을 학습할 때, 하기 수학식 2를 이용하며,상기 개념 병목 모델을 압축하여 지식 증류 기반으로 학습하기 위한 상기 교사 모델을 사전 학습하고, 상기 교사 모델의 각 레이어의 채널값을 절반으로 줄인 상기 학생 모델을 지식 증류 학습 처리를 수행하되,상기 학생 모델이 상기 교사 모델의 확률 분포를 모사하도록 처리할 때,상기 교사 모델과 상기 학생 모델의 확률 분포 간의 차이를 최소화하는 하기 수학식 5를 이용하는 것을 특징으로 하는, 개념 병목 모델 기반 지식 증류 학습 방법.[수학식 1][수학식 2][수학식 5]여기에서, x는 입력 이미지, y는 목표 클래스, c는 개념 벡터, g(x)는 개념 정보 학습 네트워크, f(x)는 목표 작업 학습 네트워크, 은 손실함수, 는 목표 작업 학습 및 개념 정보 학습 간의 가중치 조절을 위한 값, S는 학생 모델, T는 교사 모델, 는 각 모델의 학습 파라미터, 는 이미지 분류를 위한 크로스엔트로피(cross entropy) 손실함수, 는 학생 모델과 교사 모델 간의 확률 분포 차이를 최소화하기 위한 손실함수임. |
| 12 | 삭제 |
| 13 | 삭제 |
| 14 | 삭제 |
| 15 | 제11항에 있어서,상기 입력 이미지의 개념 정보가 예측되도록 학습 처리하는 단계에서,상기 입력 이미지를 개념 공간에 매핑하여 개념 정보를 예측하는, 개념 병목 모델 기반 지식 증류 학습 방법. |
| 16 | 삭제 |
| 17 | 제11항에 있어서,상기 지식 증류 학습 처리를 수행하는 단계에서,상기 지식 증류 학습 처리 시, 상기 교사 모델과 상기 학생 모델 간의 시각적 설명의 분포 차를 축소하기 위해 사전 설정된 시각적 개념 전이 기반의 지식 증류 학습 처리를 수행하는, 개념 병목 모델 기반 지식 증류 학습 방법. |
| 18 | 제17항에 있어서, 상기 지식 증류 학습 처리를 수행하는 단계 이후에, 압축된 상기 개념 병목 모델의 가중치를 기초로 테스트 이미지를 추론 예측하는 단계를 더 포함하는, 개념 병목 모델 기반 지식 증류 학습 방법. |
| 19 | 컴퓨터 판독가능 저장 매체 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 하나 이상의 프로세서에서 실행되는 경우, 개념 병목 모델 기반 지식 증류 학습 방법을 수행하기 위한 이하의 동작들을 수행하도록 하며, 상기 동작들은:사전에 전처리된 입력 이미지 및 상기 입력 이미지의 개념 정보를 포함하는 학습 데이터를 수신하는 동작;학습 데이터를 기초로 제1 인공지능 모델의 학습 처리를 수행하되, 상기 입력 이미지를 통해 상기 입력 이미지의 개념 정보가 예측되도록 학습 처리하는 동작;상기 입력 이미지의 개념 정보를 기초로 목표 작업에 대한 확률값을 출력하는 학습을 처리하여 상기 제1 인공지능 모델의 학습 처리를 완료하는 동작; 및제2 인공지능 모델을 이용하여 상기 제1 인공지능 모델을 압축하여 지식 증류 학습 처리를 수행하는 동작을 포함하고,상기 학습 데이터는 하기 수학식 1이고,상기 제1 인공지능 모델은 개념 병목 모델(Concept Bottleneck Model, CBM)을 포함하고,상기 제2 인공지능 모델은 교사 모델 및 학생 모델을 포함하고,상기 개념 병목 모델을 학습할 때, 하기 수학식 2를 이용하며,상기 개념 병목 모델을 압축하여 지식 증류 기반으로 학습하기 위한 상기 교사 모델을 사전 학습하고, 상기 교사 모델의 각 레이어의 채널값을 절반으로 줄인 상기 학생 모델을 지식 증류 학습 처리를 수행하되,상기 학생 모델이 상기 교사 모델의 확률 분포를 모사하도록 처리할 때,상기 교사 모델과 상기 학생 모델의 확률 분포 간의 차이를 최소화하는 하기 수학식 5를 이용하는 것을 특징으로 하는, 컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램.[수학식 1][수학식 2][수학식 5]여기에서, x는 입력 이미지, y는 목표 클래스, c는 개념 벡터, g(x)는 개념 정보 학습 네트워크, f(x)는 목표 작업 학습 네트워크, 은 손실함수, 는 목표 작업 학습 및 개념 정보 학습 간의 가중치 조절을 위한 값, S는 학생 모델, T는 교사 모델, 는 각 모델의 학습 파라미터, 는 이미지 분류를 위한 크로스엔트로피(cross entropy) 손실함수, 는 학생 모델과 교사 모델 간의 확률 분포 차이를 최소화하기 위한 손실함수임. |
| 20 | 컴퓨터와 결합되어, 제11항, 제15항, 제17항 및 제18항 중 어느 한 항의 개념 병목 모델 기반 지식 증류 학습 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램. |