완전한 모달리티를 가진 데이터들로 구성된 검색 집합을 구축하는 단계;각 모달리티에 대한 사전 학습 모델을 이용하여 상기 검색 집합의 데이터들의 특징을 추출하고 저장하는 단계;모달리티가 누락된 데이터에 대해, 누락되지 않은 모달리티를 기준으로 상기 검색 집합에서 유사도 검색을 수행하는 단계;상기 유사도 검색 결과에 대해 미리 설정된 유사도 기준점을 적용하여 재구성 대상 데이터를 선별하는 단계;선별된 데이터를 이용하여 누락된 모달리티의 정보를 재구성하는 단계; 를 포함하는 유사도 검색 기반 모달리티 누락 데이터 재구성하는 방법.

제1항에 있어서,상기 유사도 검색은, 입력된 데이터의 모달리티 구성에서 누락된 모랄리터를 식별하고,상기 입력된 데이터 중 누락되지 않은 모달리티 데이터에 대해 상기 사전 학습 모델을 통해 특징 벡터를 추출하고,상기 추출된 특징 벡터를 기준으로, 상기 검색 집합 내의 모든 데이터와의 유사도를 계산하는,유사도 검색 기반 모달리티 누락 데이터 재구성하는 방법.

제2항에 있어서,상기 유사도 검색은 코사인 유사도를 이용하여 수행되는, 유사도 검색 기반 모달리티 누락 데이터 재구성하는 방법.

제1항에 있어서,상기 멀티모달 데이터는 텍스트 정보와 이미지 정보를 포함하는, 유사도 검색 기반 모달리티 누락 데이터 재구성하는 방법.

모달리티가 누락된 데이터에 대해 누락된 모달리티 정보를 재구성하는 (A) 단계와,상기 (A) 단계를 통해 재구성된 데이터를 통해 인공지능 모델을 학습시키는 (B) 단계를 포함하고,상기 (A) 단계는,완전한 모달리티를 가진 데이터들로 구성된 검색 집합을 구축하는 과정과,각 모달리티에 대한 사전 학습 모델을 이용하여 상기 검색 집합의 데이터들의 특징을 추출하고 저장하는 과정과,모달리티가 누락된 데이터에 대해, 누락되지 않은 모달리티를 기준으로 상기 검색 집합에서 유사도 검색을 수행하는 과정과,상기 유사도 검색 결과에 대해 미리 설정된 유사도 기준점을 적용하여 재구성 대상 데이터를 선별하는 과정과,선별된 데이터를 이용하여 누락된 모달리티의 정보를 재구성하는 과정,을 포함하는 인공지능 모델의 학습 방법.

제5항에 있어서,상기 유사도 검색은, 입력된 데이터의 모달리티 구성에서 누락된 모랄리터를 식별하고,상기 입력된 데이터 중 누락되지 않은 모달리티 데이터에 대해 상기 사전 학습 모델을 통해 특징 벡터를 추출하고,상기 추출된 특징 벡터를 기준으로, 상기 검색 집합 내의 모든 데이터와의 유사도를 계산하는,인공지능 모델의 학습 방법.

제6항에 있어서,상기 유사도 검색은 코사인 유사도를 이용하여 수행되는, 인공지능 모델의 학습 방법.

제5항에 있어서,상기 멀티모달 데이터는 텍스트 정보와 이미지 정보를 포함하는, 인공지능 모델의 학습 방법.

제5항에 있어서,상기 유사도 기준점을 넘지 않는 데이터는 모달리티 누락 데이터로 취급하여 학습에 활용하는, 인공지능 모델의 학습 방법.

모달리티가 누락된 데이터에 대해 누락된 모달리티 정보를 재구성하는 (A) 단계와,상기 (A) 단계를 통해 재구성된 데이터를 통해 인공지능 모델을 학습시키는 (B) 단계와,상기 (B) 단계를 통해 학습된 상기 인공지능 모델에 멀티모달 데이터를 입력해서 그 결과를 추론하는 (C) 단계,를 포함하고,상기 (A) 단계는,완전한 모달리티를 가진 데이터들로 구성된 검색 집합을 구축하는 과정과,각 모달리티에 대한 사전 학습 모델을 이용하여 상기 검색 집합의 데이터들의 특징을 추출하고 저장하는 과정과,모달리티가 누락된 데이터에 대해, 누락되지 않은 모달리티를 기준으로 상기 검색 집합에서 유사도 검색을 수행하는 과정과,상기 유사도 검색 결과에 대해 미리 설정된 유사도 기준점을 적용하여 재구성 대상 데이터를 선별하는 과정과,선별된 데이터를 이용하여 누락된 모달리티의 정보를 재구성하는 과정,을 포함하는 인공지능 모델의 추론 방법.

제10항에 있어서,상기 유사도 검색은, 입력된 데이터의 모달리티 구성에서 누락된 모랄리터를 식별하고,상기 입력된 데이터 중 누락되지 않은 모달리티 데이터에 대해 상기 사전 학습 모델을 통해 특징 벡터를 추출하고,상기 추출된 특징 벡터를 기준으로, 상기 검색 집합 내의 모든 데이터와의 유사도를 계산하는,인공지능 모델의 추론 방법.

제11항에 있어서,상기 상기 유사도 검색은 코사인 유사도를 이용하여 수행되는, 인공지능 모델의 추론 방법.

제10항에 있어서,상기 멀티모달 데이터는 텍스트 정보와 이미지 정보를 포함하는, 인공지능 모델의 추론 방법.

제1항 내지 제4항 중 어느 한 항에 유사도 검색 기반 모달리티 누락 데이터 재구성하는 방법을 컴퓨터가 읽을 수 있도록 코딩된 프로그램을 기록한 기록 매체.

유사도 검색 기반 모달리티 누락 데이터 재구성하는 방법을 컴퓨터가 읽을 수 있도록 코딩된 프로그램을 저장하는 메모리; 및상기 프로그램을 실행하는 프로세서;를 포함하고,상기 유사도 검색 기반 모달리티 누락 데이터 재구성하는 방법은,완전한 모달리티를 가진 데이터들로 구성된 검색 집합을 구축하는 단계;각 모달리티에 대한 사전 학습 모델을 이용하여 상기 검색 집합의 데이터들의 특징을 추출하고 저장하는 단계;모달리티가 누락된 데이터에 대해, 누락되지 않은 모달리티를 기준으로 상기 검색 집합에서 유사도 검색을 수행하는 단계;상기 유사도 검색 결과에 대해 미리 설정된 유사도 기준점을 적용하여 재구성 대상 데이터를 선별하는 단계;선별된 데이터를 이용하여 누락된 모달리티의 정보를 재구성하는 단계; 를 포함하는, 연산 장치.

제15항에 있어서,상기 유사도 검색은,입력된 데이터의 모달리티 구성에서 누락된 모랄리터를 식별하고,상기 입력된 데이터 중 누락되지 않은 모달리티 데이터에 대해 상기 사전 학습 모델을 통해 특징 벡터를 추출하고,상기 추출된 특징 벡터를 기준으로, 상기 검색 집합 내의 모든 데이터와의 유사도를 계산하는,연산 장치.

제16항에 있어서,상기 유사도 검색은 코사인 유사도를 이용하여 수행되는, 연산 장치.

제15항에 있어서,상기 멀티모달 데이터는 텍스트 정보와 이미지 정보를 포함하는, 연산 장치.