스위트앤데이터
이미지 크롤링을 통해 자동화된 Text-to-Image 멀티모달 토큰 임베딩을 수행하는 서버 및 이를 이용한 토큰 임베딩 방법
SERVER THAT PERFORMS AUTOMATED TEXT-TO-IMAGE MULTIMODAL TOKEN EMBEDDING THROUGH IMAGE CRAWLING AND TOKEN EMBEDDING METHOD USING THE SAME
특허 요약
텍스트 임베딩 데이터베이스 내에 저장되지 않은 새로운 토큰이 입력되었을 때 관련된 이미지를 크롤링함으로써 해당 새로운 토큰의 의미 정보를 정확하게 학습할 수 있는 멀티모달 토큰 임베딩을 수행하는 서버 및 이를 이용한 토큰 임베딩 방법을 제공한다. 본 발명의 일측면에 따른 토큰 임베딩을 수행하는 서버는, 명령어들을 저장하도록 구성되는 메모리와, 상기 명령어들을 실행함으로써: 제 1 텍스트를 입력받고, 상기 제 1 텍스트를 기 설정된 기준에 따라 복수 개의 제 1 토큰들로 분할하고, 상기 분할된 복수 개의 제 1 토큰들이 텍스트 임베딩 데이터베이스 내에 존재하는지 확인하고, 상기 분할된 복수 개의 제 1 토큰들 중 텍스트 임베딩 데이터베이스 내에 존재하지 않는 제 2 토큰과 관련된 이미지를 웹 서버로부터 크롤링하고, 상기 크롤링된 이미지를 상기 텍스트 임베딩 데이터베이스에 저장하여 학습하도록 구성된 프로세서를 포함한다.
청구항
번호청구항
1

토큰 임베딩(token embedding)을 수행하는 서버에 있어서,명령어들을 저장하도록 구성되는 메모리;상기 명령어들을 실행함으로써:제 1 텍스트를 입력받고,상기 제 1 텍스트를 기 설정된 기준에 따라 복수 개의 제 1 토큰들로 분할하고,상기 분할된 복수 개의 제 1 토큰들이 텍스트 임베딩 데이터베이스 내에 존재하는지 확인하고,상기 분할된 복수 개의 제 1 토큰들 중 텍스트 임베딩 데이터베이스 내에 존재하지 않는 제 2 토큰과 관련된 이미지를 웹 서버로부터 크롤링하고,상기 크롤링된 이미지를 상기 텍스트 임베딩 데이터베이스에 저장하여 학습하도록 구성된 프로세서를 포함하고,상기 프로세서는,상기 제 2 토큰과 관련된 이미지를 웹 서버로부터 크롤링할 때, 상기 이미지의 시각적 특징으로부터 상기 제 2 토큰의 의미 정보를 추출하도록 구성되고,상기 이미지의 시각적 특징은,상기 이미지의 중심 정보인 제 1 이미지 정보, 상기 이미지의 배경적 정보인 제 2 이미지 정보 및 상기 이미지의 중심 정보와 상기 이미지의 배경적 정보를 연결하는 정보인 제 3 이미지 정보를 포함하고,상기 프로세서는, 상기 이미지의 시각적 특징으로부터 상기 제 2 토큰의 의미 정보를 추출할 때, 제 1 텍스트 전체가 이루는 문장의 장르에 따라 제 1 이미지 정보, 제 2 이미지 정보 및 제 3 이미지 정보 각각에 가중치를 부여하도록 구성된 것을 특징으로 하는 토큰 임베딩을 수행하는 서버.

1

제 1항에 있어서,상기 기 설정된 기준은,언어의 품사 규칙에 따른 단위로 텍스트를 복수 개의 토큰들로 분할하는 것이고,상기 텍스트 임베딩 데이터베이스는, 상기 기 설정된 기준에 따라 분할된 복수 개의 토큰들에 대한 정보를 저장하도록 구성된 것을 특징으로 하는 토큰 임베딩을 수행하는 서버.

1

제 1항에 있어서,상기 프로세서는,상기 제 1 텍스트 전체가 이루는 문장의 장르에 따라 상기 웹 서버에 있는 복수 개의 이미지 중 적어도 하나를 선택하도록 구성되고,상기 제 1 텍스트 전체 중에서 상기 제 2 토큰이 나타내는 비중에 따라 상기 웹 서버에 있는 복수 개의 이미지 중 하나를 선택하도록 구성된 것을 특징으로 하는 토큰 임베딩을 수행하는 서버.

1

삭제

1

제 1항에 있어서,상기 프로세서는,상기 웹 서버로부터 상기 제 2 토큰 관련된 주제에 대한 검색 빈도 및 검색 횟수에 대한 제 1 판단 정보, 상기 제 2 토큰 관련된 주제에 대한 화제성 및 인기도에 대한 제 2 판단 정보 및 상기 제 2 토큰 관련된 주제에 대한 최신성에 대한 제 3 판단 정보를 제공받고,상기 프로세서는,상기 웹 서버로부터 크롤링할 상기 제 2 토큰과 관련된 이미지를 선택할 때, 상기 제 1 텍스트 전체가 이루는 문장의 장르 또는 상기 제 1 텍스트 중에서 상기 제 2 토큰이 나타내는 비중에 따라, 제 1 판단 정보, 제 2 판단 정보 및 제 3 판단 정보 각각에 가중치를 부여하도록 구성된 것을 특징으로 하는 토큰 임베딩을 수행하는 서버.

1

제 1항에 있어서,상기 프로세서는,상기 웹 서버로부터 크롤링할 상기 제 2 토큰과 관련된 이미지를 선택할 때,상기 제 2 토큰이 나타나는 매체가 대중 매체인지 개인 매체인지에 대한 제 1 판단 인자 및 상기 제 1 텍스트 전체가 이루는 문장의 장르가 전문적인 내용인지 비전문적인 내용인지 여부에 따른 제 2 판단 인자 중 적어도 하나를 고려하도록 구성된 것을 특징으로 하는 토큰 임베딩을 수행하는 서버.

1

토큰 임베딩(token embedding)을 수행하는 서버에 의해 수행되는 토큰 임베딩 방법에 있어서,제 1 텍스트를 입력받는 단계;상기 제 1 텍스트를 기 설정된 기준에 따라 복수 개의 제 1 토큰들로 분할하는 단계;상기 분할된 복수 개의 제 1 토큰들이 텍스트 임베딩 데이터베이스 내에 존재하는지 확인하는 단계;상기 분할된 복수 개의 제 1 토큰들 중 텍스트 임베딩 데이터베이스 내에 존재하지 않는 제 2 토큰과 관련된 이미지를 웹 서버로부터 크롤링하는 단계; 및상기 크롤링된 이미지를 상기 텍스트 임베딩 데이터베이스에 저장하여 학습하는 단계를 포함하고,상기 서버는,상기 제 2 토큰과 관련된 이미지를 웹 서버로부터 크롤링할 때, 상기 이미지의 시각적 특징으로부터 상기 제 2 토큰의 의미 정보를 추출하도록 구성되고,상기 이미지의 시각적 특징은,상기 이미지의 중심 정보인 제 1 이미지 정보, 상기 이미지의 배경적 정보인 제 2 이미지 정보 및 상기 이미지의 중심 정보와 상기 이미지의 배경적 정보를 연결하는 정보인 제 3 이미지 정보를 포함하고,상기 서버는, 상기 이미지의 시각적 특징으로부터 상기 제 2 토큰의 의미 정보를 추출할 때, 제 1 텍스트 전체가 이루는 문장의 장르에 따라 제 1 이미지 정보, 제 2 이미지 정보 및 제 3 이미지 정보 각각에 가중치를 부여하도록 구성된 것을 특징으로 하는 토큰 임베딩 방법.