컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 하나 이상의 프로세서에서 실행되는 경우 이미지의 스타일 변경을 위한 이하의 방법들을 수행하도록 하며, 상기 방법은, 사전학습된 텍스트 인코더로 소스 텍스트 및 타겟 텍스트를 연산하여 인코딩된 소스 텍스트 및 인코딩된 타겟 텍스트를 생성하는 단계; 사전학습된 이미지 인코더로 소스 이미지, 상기 소스 이미지를 스타일 변환 네트워크를 이용하여 스타일 변환한 출력 이미지 및 하나 이상의 선택된 출력 이미지 패치를 연산하여, 인코딩된 소스 이미지, 인코딩된 출력 이미지 및 하나 이상의 인코딩된 선택된 출력 이미지 패치를 생성하는 단계; 및 상기 인코딩된 소스 텍스트, 상기 인코딩된 타겟 텍스트, 상기 인코딩된 소스 이미지 상기 인코딩된 출력 이미지 및 상기 하나 이상의 인코딩된 선택된 출력 이미지 패치 중 적어도 하나에 기초하여 상기 스타일 변환 네트워크를 학습시키는 단계;를 포함하고,상기 스타일 변환 네트워크를 학습시키는 단계는, 상기 인코딩된 선택된 출력 이미지 패치와 상기 인코딩된 타겟 텍스트의 유사도에 기초한 제 3 손실함수에 기초하여 상기 스타일 변환 네트워크를 학습시키는 단계;를 포함하는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 1 항에 있어서, 상기 소스 텍스트는 상기 소스 이미지에서 스타일 변환을 부분을 의미적으로 지정하는 텍스트인, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 1 항에 있어서, 상기 타겟 텍스트는 상기 소스 텍스트와 변환할 스타일을 지정하는 스타일 텍스트의 조합으로 구성된 텍스트인, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 3 항에 있어서, 상기 타겟 텍스트는, 상기 소스 텍스트와 상기 스타일 텍스트를 연결하여 구성되는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 1 항에 있어서, 상기 하나 이상의 선택된 출력 이미지 패치는 상기 소스 이미지의 하나 이상의 소스 이미지 패치들 중에서 상기 소스 텍스트에 기초하여 스타일 변환될 부분으로 선택된 하나 이상의 선택된 소스 이미지 패치와 대응되도록 선택되는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 5 항에 있어서, 상기 하나 이상의 선택된 소스 이미지 패치는 상기 하나 이상의 소스 이미지 패치들 각각을 상기 사전학습된 이미지 인코더로 연산한 하나 이상의 인코딩된 소스 이미지 패치 각각과 상기 인코딩된 소스 텍스트의 유사도 비교를 통해 선택되는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 5 항에 있어서,상기 소스 이미지에 대한 랜덤 크롭을 통해 M개의 소스 이미지 패치를 생성하는 단계; 및상기 M개의 소스 이미지 패치 각각을 상기 사전학습된 이미지 인코더로 연산한 M개의 인코딩된 소스 이미지 패치 각가과 상기 인코딩된 소스 텍스트의 유사도 비교를 통해 K개의 소스 이미지 패치를 선택하는 단계;를 더 포함하는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 7 항에 있어서, 상기 K개의 선택된 소스 이미지 패치를 선택된 소스 이미지 패치로 결정하는 단계; 를 더 포함하는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 7 항에 있어서, K개의 인코딩된 소스 이미지 패치의 평균을 연산하는 단계; 및 상기 K개의 인코딩된 소스 이미지 패치의 평균과 상기 M개의 인코딩된 소스 이미지 패치 각각에 대한 유사도 비교를 통해 N개의 선택된 소스 이미지 패치를 선택하는 단계; 를 더 포함하는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 9 항에 있어서, 상기 M, K, N은, M≥2N, N003e#K인 관계를 가지는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 1 항에 있어서, 상기 하나 이상의 선택된 출력 이미지 패치는 상기 소스 이미지에 대한 상기 소스 텍스트의 인식 결과에 기초하여 스타일 변환될 부분으로 선택된 하나 이상의 선택된 소스 이미지 패치와 대응되도록 선택되는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 1 항에 있어서, 상기 스타일 변환 네트워크의 학습 중 상기 사전학습된 텍스트 인코더 및 상기 사전학습된 이미지 인코더 중 적어도 하나의 가중치는 고정된, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 1 항에 있어서, 상기 스타일 변환 네트워크를 학습시키는 단계는, 상기 인코딩된 출력 이미지와 상기 인코딩된 소스 이미지의 차이 및 상기 인코딩된 타겟 텍스트와 상기 인코딩된 소스 텍스트의 차이에 기초한 제 1 손실함수에 기초하여 상기 스타일 변환 네트워크를 학습시키는 단계;를 포함하는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 13 항에 있어서, 상기 제 1 손실함수는, 수학식 1 에 기초하는, 수학식1:여기서, 이며, 는 사전학습된 텍스트 인코더, 는 사전학습된 이미지 인코더인, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 1 항에 있어서, 상기 스타일 변환 네트워크를 학습시키는 단계는,상기 인코딩된 선택된 출력 이미지 패치와 상기 인코딩된 소스 이미지의 차이 및 상기 인코딩된 타겟 텍스트와 상기 인코딩된 소스 텍스트의 차이에 기초한 제 2 손실함수에 기초하여 상기 스타일 변환 네트워크를 학습시키는 단계; 를 포함하는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 15 항에 있어서, 상기 제 2 손실함수는, 수학식 2 에 기초하는, 수학식2:여기서, 이며, 는 사전학습된 텍스트 인코더, 는 사전학습된 이미지 인코더이며, N은 선택된 패치들의 수, 는 사전결정된 임계값인, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

삭제

제 1 항에 있어서, 상기 제 3 손실함수는, 수학식 3 에 기초하는, 수학식3: 여기서, Sim()은 코사인 유사도 함수인,컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

컴퓨터 장치의 하나 이상의 프로세서에서 실행가능한 이미지의 스타일 변경을 위한 방법으로서, 사전학습된 텍스트 인코더로 소스 텍스트 및 타겟 텍스트를 연산하여 인코딩된 소스 텍스트 및 인코딩된 타겟 텍스트를 생성하는 단계; 사전학습된 이미지 인코더로 소스 이미지, 상기 소스 이미지를 스타일 변환 네트워크를 이용하여 스타일 변환한 출력 이미지 및 하나 이상의 선택된 출력 이미지 패치를 연산하여, 인코딩된 소스 이미지, 인코딩된 출력 이미지 및 하나 이상의 인코딩된 선택된 출력 이미지 패치를 생성하는 단계; 및 상기 인코딩된 소스 텍스트, 상기 인코딩된 타겟 텍스트, 상기 인코딩된 소스 이미지 상기 인코딩된 출력 이미지 및 상기 하나 이상의 인코딩된 선택된 출력 이미지 패치 중 적어도 하나에 기초하여 상기 스타일 변환 네트워크를 학습시키는 단계;를 포함하고,상기 스타일 변환 네트워크를 학습시키는 단계는, 상기 인코딩된 선택된 출력 이미지 패치와 상기 인코딩된 타겟 텍스트의 유사도에 기초한 제 3 손실함수에 기초하여 상기 스타일 변환 네트워크를 학습시키는 단계;를 포함하는, 방법.

컴퓨터 장치로서, 하나 이상의 프로세서; 및 상기 프로세서에서 실행가능한 명령들을 저장하는 메모리;를 포함하고, 상기 프로세서는, 사전학습된 텍스트 인코더로 소스 텍스트 및 타겟 텍스트를 연산하여 인코딩된 소스 텍스트 및 인코딩된 타겟 텍스트를 생성하고. 사전학습된 이미지 인코더로 소스 이미지, 상기 소스 이미지를 스타일 변환 네트워크를 이용하여 스타일 변환한 출력 이미지 및 하나 이상의 선택된 출력 이미지 패치를 연산하여, 인코딩된 소스 이미지, 인코딩된 출력 이미지 및 하나 이상의 인코딩된 선택된 출력 이미지 패치를 생성하고, 상기 인코딩된 소스 텍스트, 상기 인코딩된 타겟 텍스트, 상기 인코딩된 소스 이미지 상기 인코딩된 출력 이미지 및 상기 하나 이상의 인코딩된 선택된 출력 이미지 패치 중 적어도 하나에 기초하여 상기 스타일 변환 네트워크를 학습시키는, 그리고상기 스타일 변환 네트워크를 학습시키는 것은,상기 인코딩된 선택된 출력 이미지 패치와 상기 인코딩된 타겟 텍스트의 유사도에 기초한 제 3 손실함수에 기초하여 상기 스타일 변환 네트워크를 학습시키는 것을 포함하는,컴퓨터 장치.