멀티모달로 확장된 병목 트랜스포머와 동적 제한 적응 손실을 활용하여 신경망을 경량화 할 수 있는 멀티모달 퓨전 학습 장치에 있어서, 각 모달리티의 시퀀스 데이터에 각각 어텐션 연산을 수행하여 각 모달리티의 특징 벡터를 출력하는 복수의 모달 인코더부; 상기 모달 인코더부에서 출력된 각 모달리티의 특징 벡터에 학습 가능한 토큰인 각 모달리티의 학습전 분류 토큰과 병목 토큰을 결합시켜서 각 모달리티별 시퀀스 행렬을 생성하고, 상기 시퀀스 행렬에 어텐션 연산을 수행하여 각 모달리티의 학습후 분류 토큰을 결정하는 분류 토큰 결정부; 및 상기 분류 토큰 결정부에서 출력되는 각 모달리티의 학습후 분류 토큰을 입력받아서 각 모달리티별 출력을 구하고, 상기 모달리티별 출력을 융합한 퓨전 출력을 구하고, 상기 각 모달리티별 출력 및 상기 퓨전 출력에 기초하여 동적 제한 적응 손실을 결정하는 손실 결정부;를 포함하고, 상기 분류 토큰 결정부는, 상기 병목 토큰의 각 원소를 복수개의 모달리티의 특징 벡터와 결합시키는 확장된 병목 트랜스포머;를 포함하고, 상기 손실 결정부는, 상기 분류 토큰 결정부에서 출력되는 각 모달리티의 학습후 분류 토큰과 모달리티별 가중치 행렬과 모달리티별 매개변수 벡터에 기초하여 상기 각 모달리티별 출력을 구하고, 상기 손실 결정부는, 상기 각 모달리티별 출력에 기초하여 각 모달리티별 손실을 구하고, 상기 퓨전 출력에 기초하여 퓨전 손실을 구하고, 상기 모달리티별 손실 및 상기 퓨전 손실에 기초하여 동적 제한 적응 손실을 구하는 동적 제한 적응 손실 산출부;를 포함하고, 상기 동적 제한 적응 손실 산출부는, 각 모달리티별 손실과 퓨전 손실의 상대적 가중치 학습에 사용되는 손실 매개변수들을 결정하는 손실 매개변수 결정부;를 포함하고, 상기 손실 매개변수 결정부는, 미리 정해진 값에서 상기 손실 매개변수들의 절대값의 합을 뺀 차이에 기초하여 손실 매개변수들을 결정하는, 멀티모달 퓨전 학습 장치.

제1항에 있어서, 각 모달리티별 입력 데이터로부터 각 모달리티별 시퀀스 데이터를 생성하여 상기 모달 인코더부로 전달하는 특징 추출기;를 더 포함하는, 멀티모달 퓨전 학습 장치.

제1항에 있어서, 상기 모달 인코더부는, 각 모달리티에 대한 시퀀스 데이터를 입력받아서 각 모달리티의 시퀀스 데이터에 각각 셀프 어텐션 연산을 수행하는 단일모달 트랜스포머; 및모달리티 간의 특징 차원을 표준화하는 다층 퍼셉트론(MLP) 신경망;을 포함하는, 멀티모달 퓨전 학습 장치.

제1항에 있어서, 상기 확장된 병목 트랜스포머는, 각 모달리티의 특징 벡터에 각 모달리티의 학습전 분류 토큰과 병목 토큰을 결합시켜서 각 모달리티의 시퀀스 행렬을 생성하는 병목 토큰 결합부; 각 모달리티별로 상기 시퀀스 행렬에 어텐션 연산을 수행하는 트랜스포머 인코더; 및 어텐션 연산이 수행된 병목 토큰에 대해 동일한 모달리티 쌍의 병목 토큰의 산술 평균을 새로운 병목 토큰으로 결정하는 병목 토큰 결정부;를 포함하는, 멀티모달 퓨전 학습 장치.

제1항에 있어서, 상기 손실 결정부는, 상기 분류 토큰 결정부에서 출력되는 각 모달리티의 학습후 분류 토큰에 모달리티별 가중치 행렬과 모달리티별 매개변수 벡터를 곱하여 모달리티별 출력을 결정하는 모달리티별 리니어 연산부; 및상기 모달리티별 출력을 융합하고, 퓨전 가중치 행렬과 퓨전 매개변수 벡터를 곱하여 퓨전 출력을 결정하는 퓨전 리니어 연산부;를 포함하는, 멀티모달 퓨전 학습 장치.

삭제

삭제

제1항에 있어서, 상기 동적 제한 적응 손실 산출부는, 각 모달리티별 손실에서 이전 단계의 손실 변화율에 기초하여 시간에 따라 가중치를 조정하는 계수를 결정하는 가중치 조정 계수 결정부;를 더 포함하는, 멀티모달 퓨전 학습 장치.

멀티모달로 확장된 병목 트랜스포머와 동적 제한 적응 손실을 활용하여 학습된 경량화된 신경망을 구비하는 멀티모달 퓨전 추론 장치에 있어서, 각 모달리티의 시퀀스 데이터에 각각 어텐션 연산을 수행하여 각 모달리티의 특징 벡터를 출력하는 복수의 모달 인코더부; 상기 모달 인코더부에서 출력된 각 모달리티의 특징 벡터에 학습된 토큰인 각 모달리티의 입력 분류 토큰과 병목 토큰을 결합시켜서 각 모달리티별 시퀀스 행렬을 생성하고, 상기 시퀀스 행렬에 어텐션 연산을 수행하여 각 모달리티의 출력 분류 토큰을 결정하는 분류 토큰 결정부; 및 상기 분류 토큰 결정부에서 출력되는 각 모달리티의 출력 분류 토큰을 입력받아서 각 모달리티별 분류 결과를 결정하고, 상기 모달리티별 분류 결과를 융합한 퓨전 분류 결과를 결정하는 분류 결과 결정부;를 포함하고, 상기 분류 토큰 결정부는, 상기 병목 토큰의 각 원소를 복수개의 모달리티의 특징 벡터와 결합시키는 확장된 병목 트랜스포머;를 포함하고, 상기 분류 결과 결정부는, 상기 분류 토큰 결정부에서 출력되는 각 모달리티의 출력 분류 토큰과 학습된 모달리티별 가중치 행렬과 학습된 모달리티별 매개변수 벡터에 기초하여 상기 각 모달리티별 분류 결과를 결정하고, 상기 분류 결과 결정부는, 상기 각 모달리티별 분류 결과를 융합하고, 학습된 퓨전 가중치 행렬과 퓨전 매개변수 벡터에 기초하여 퓨전 분류 결과를 결정하고, 상기 모달 인코더부, 상기 분류 토큰 결정부, 및 상기 분류 결과 결정부는, 각 모달리티별 손실과 퓨전 손실의 상대적 가중치를 학습하는 손실 매개변수들을 포함하는 손실함수를 이용하여 학습되고, 상기 손실 매개변수들은, 미리 정해진 값에서 상기 손실 매개변수들의 절대값의 합을 뺀 차이에 기초하여 결정되는, 멀티모달 퓨전 추론 장치.

제9항에 있어서, 각 모달리티별 입력 데이터로부터 각 모달리티별 시퀀스 데이터를 생성하여 상기 모달 인코더부로 전달하는 특징 추출기;를 더 포함하는, 멀티모달 퓨전 추론 장치.

제9항에 있어서, 상기 모달 인코더부는, 각 모달리티에 대한 시퀀스 데이터를 입력받아서 각 모달리티의 시퀀스 데이터에 각각 셀프 어텐션 연산을 수행하는 단일모달 트랜스포머; 및모달리티 간의 특징 차원을 표준화하는 다층 퍼셉트론(MLP) 신경망;을 포함하는, 멀티모달 퓨전 추론 장치.

제9항에 있어서, 상기 확장된 병목 트랜스포머는, 각 모달리티의 특징 벡터에 각 모달리티의 입력 분류 토큰과 병목 토큰을 결합시켜서 각 모달리티의 시퀀스 행렬을 생성하는 병목 토큰 결합부; 각 모달리티별로 상기 시퀀스 행렬에 어텐션 연산을 수행하는 트랜스포머 인코더; 및 어텐션 연산이 수행된 병목 토큰에 대해 동일한 모달리티 쌍의 병목 토큰의 산술 평균을 새로운 병목 토큰으로 결정하는 병목 토큰 결정부;를 더 포함하는, 멀티모달 퓨전 추론 장치.

제9항에 있어서, 상기 분류 결과 결정부는, 상기 분류 토큰 결정부에서 출력되는 각 모달리티의 출력 분류 토큰에 학습된 모달리티별 가중치 행렬과 모달리티별 매개변수 벡터를 곱하여 모달리티별 출력을 결정하는 모달리티별 리니어 연산부; 및 상기 모달리티별 출력을 융합하고, 학습된 퓨전 가중치 행렬과 퓨전 매개변수 벡터를 곱하여 퓨전 출력을 결정하는 퓨전 리니어 연산부;를 포함하는, 멀티모달 퓨전 추론 장치.

멀티모달로 확장된 병목 트랜스포머와 동적 제한 적응 손실을 활용하여 신경망을 경량화 할 수 있는 멀티모달 퓨전 학습 방법에 있어서, 각 모달리티의 시퀀스 데이터에 각각 어텐션 연산을 수행하고 각 모달리티의 특징 벡터를 출력하는 모달 인코딩 단계; 상기 모달 인코딩 단계에서 출력된 각 모달리티의 특징 벡터에 학습 가능한 토큰인 각 모달리티의 학습전 분류 토큰과 병목 토큰을 결합시켜서 각 모달리티별 시퀀스 행렬을 생성하고, 상기 시퀀스 행렬에 어텐션 연산을 수행하여 각 모달리티의 학습후 분류 토큰을 결정하는 분류 토큰 결정 단계; 및 상기 분류 토큰 결정 단계에서 출력되는 각 모달리티의 학습후 분류 토큰을 입력받아서 각 모달리티별 출력을 구하고, 상기 모달리티별 출력을 융합한 퓨전 출력을 구하고, 상기 각 모달리티별 출력 및 상기 퓨전 출력에 기초하여 동적 제한 적응 손실을 결정하는 손실 결정 단계;를 포함하고, 상기 분류 토큰 결정 단계는, 확장된 병목 트랜스포머가 상기 병목 토큰의 각 원소를 복수개의 모달리티의 특징 벡터와 결합시키는 병목 토큰 결합 단계;를 포함하고, 상기 손실 결정 단계는, 상기 분류 토큰 결정 단계에서 출력되는 각 모달리티의 학습후 분류 토큰에 모달리티별 가중치 행렬과 모달리티별 매개변수 벡터를 곱하여 상기 각 모달리티별 출력을 구하고, 상기 손실 결정 단계는, 상기 각 모달리티별 출력에 기초하여 각 모달리티별 손실을 구하고, 상기 퓨전 출력에 기초하여 퓨전 손실을 구하고, 상기 모달리티별 손실 및 상기 퓨전 손실에 기초하여 동적 제한 적응 손실을 구하는 동적 제한 적응 손실 산출 단계;를 포함하고, 상기 동적 제한 적응 손실 산출 단계는, 각 모달리티별 손실과 퓨전 손실의 상대적 가중치 학습에 사용되는 손실 매개변수들을 결정하는 손실 매개변수 결정단계;를 포함하고, 상기 손실 매개변수 결정단계는, 미리 정해진 값에서 상기 손실 매개변수들의 절대값의 합을 뺀 차이에 기초하여 손실 매개변수들을 결정하는, 멀티모달 퓨전 학습 방법.

멀티모달로 확장된 병목 트랜스포머와 동적 제한 적응 손실을 활용하여 학습된 경량화된 신경망을 이용하는 멀티모달 퓨전 추론 방법에 있어서, 각 모달리티의 시퀀스 데이터에 각각 어텐션 연산을 수행하여 각 모달리티의 특징 벡터를 출력하는 모달 인코딩 단계; 상기 모달 인코딩 단계에서 출력된 각 모달리티의 특징 벡터에 학습된 토큰인 각 모달리티의 입력 분류 토큰과 병목 토큰을 결합시켜서 각 모달리티별 시퀀스 행렬을 생성하고, 상기 시퀀스 행렬에 어텐션 연산을 수행하여 각 모달리티의 출력 분류 토큰을 결정하는 분류 토큰 결정 단계; 및 상기 분류 토큰 결정 단계에서 출력되는 각 모달리티의 출력 분류 토큰을 입력받아서 각 모달리티별 분류 결과를 결정하고, 상기 모달리티별 분류 결과를 융합한 퓨전 분류 결과를 결정하는 분류 결과 결정 단계;를 포함하고, 상기 분류 토큰 결정 단계는, 확장된 병목 트랜스포머가 상기 병목 토큰의 각 원소를 복수개의 모달리티의 특징 벡터와 결합시키는 병목 토큰 결합 단계;를 포함하고, 상기 분류 결과 결정 단계는, 상기 분류 토큰 결정 단계에서 출력되는 각 모달리티의 출력 분류 토큰과 학습된 모달리티별 가중치 행렬과 학습된 모달리티별 매개변수 벡터에 기초하여 상기 각 모달리티별 분류 결과를 결정하고, 상기 분류 결과 결정 단계는, 상기 각 모달리티별 분류 결과를 융합하고, 학습된 퓨전 가중치 행렬과 퓨전 매개변수 벡터에 기초하여 퓨전 분류 결과를 결정하고, 상기 모달 인코딩 단계, 상기 분류 토큰 결정 단계, 및 상기 분류 결과 결정 단계는, 각 모달리티별 손실과 퓨전 손실의 상대적 가중치를 학습하는 손실 매개변수들을 포함하는 손실함수를 이용하여 학습된 인공지능 모델에 의해 수행되고, 상기 손실 매개변수들은, 미리 정해진 값에서 상기 손실 매개변수들의 절대값의 합을 뺀 차이에 기초하여 결정되는, 멀티모달 퓨전 추론 방법.