컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 하나 이상의 프로세서에서 실행되는 경우 이미지의 스타일 변환을 위한 이하의 방법들을 수행하도록 하며, 상기 방법은, 사전학습된 텍스트 인코더로 소스 텍스트 및 타겟 텍스트를 연산하여 인코딩된 소스 텍스트 및 인코딩된 타겟 텍스트를 생성하는 단계; 사전학습된 이미지 인코더로 선택된 소스 이미지 패치 및 소스 이미지를 스타일 변환 네트워크를 이용하여 스타일 변환된 출력 이미지의 선택된 출력 이미지 패치를 연산하여 인코딩된 선택된 소스 이미지 패치 및 인코딩된 선택된 출력 이미지 패치를 생성하는 단계; 및상기 인코딩된 소스 텍스트, 상기 인코딩된 타겟 텍스트 상기 인코딩된 선택된 소스 이미지 패치 및 상기 인코딩된 선택된 출력 이미지 패치에 기초하여 상기 스타일 변환 네트워크를 학습시키는 단계; 를 포함하고, 그리고상기 선택된 소스 이미지 패치는, 텍스트 매칭 선택 모듈에 의하여 소스 텍스트에 기초하여 스타일 변환될 부분으로 선택되는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 1 항에 있어서, 상기 소스 텍스트는, 상기 소스 이미지에서 스타일 변환할 부분을 의미적으로 지정하는 텍스트로, 대상 텍스트 및 대상 속성 텍스트로 구성되는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 1 항에 있어서, 상기 타겟 텍스트는 상기 소스 텍스트의 대상 텍스트와 변환할 스타일을 지정하는 스타일 텍스트의 조합으로 구성된 텍스트인, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 3 항에 있어서, 상기 타겟 텍스트는, 상기 소스 텍스트에서 추출된 상기 대상 텍스트와 상기 스타일 텍스트를 연결하여 구성되는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 1 항에 있어서, 상기 소스 이미지로부터 상기 소스 텍스트에 연관된 전경 마스크 영역(foreground mask region)을 결정하는 단계; 를 더 포함하는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 20 항에 있어서, 상기 제 3 손실함수는, 수학식 3 에 기초하는, 수학식3:여기서, 는 배경 마스크 영역으로, 전경 마스크 영역인 로부터 로 정의되며, 로, 는 각각의 반복(iteration)에서의 패치의 수를 나타내며, 바이너리 마스크 에는 소스 이미지의 패치 영역에 대해 1 의 값이 할당되는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 5 항에 있어서, 상기 소스 이미지로부터 상기 소스 텍스트에 연관된 전경 마스크 영역을 결정하는 단계는, 상기 소스 이미지를 사전결정된 크기의 그리드로 분할하는 단계; 상기 각각의 그리드에 대하여 사전결정된 크기의 서브 그리드를 결정하는 단계; 상기 각각의 서브 그리드에 대하여 소스 텍스트와 연관 관계에 기초하여 소스 텍스트와 연관된 객체를 포함하는 서브 그리드를 식별하는 단계; 및 상기 소스 텍스트와 연관된 객체를 포함하는 서브 그리드에 기초하여 상기 전경 마스크 영역을 결정하는 단계;를 포함하는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 6 항에 있어서, 상기 각각의 서브 그리드에 대하여 소스 텍스트와 연관 관계에 기초하여 소스 텍스트와 연관된 객체를 포함하는 서브 그리드를 식별하는 단계는, 텍스트 매칭 선택 모듈에 의한 각각의 서브 그리드와 상기 소스 텍스트의 연산 결과에 기초하여 스타일 변환 대상을 포함하는 서브 그리드를 식별하는 단계;를 포함하는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 6 항에 있어서, 상기 소스 텍스트와 연관된 객체를 포함하는 서브 그리드에 기초하여 상기 전경 마스크 영역을 결정하는 단계는, 상기 소스 텍스트와 연관된 객체를 포함하는 서브 그리드의 수가 제 1 임계값 이상인 그리드 또는 상기 소스 텍스트와 연관된 객체를 포함하는 픽셀의 비율이 제 2 임계값 이상인 그리드를 전경 마스크 영역으로 결정하는 단계;를 포함하는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 5 항에 있어서, 상기 소스 이미지로부터 상기 소스 텍스트에 연관된 전경 마스크 영역을 결정하는 단계는, 상기 스타일 변환 네트워크의 학습 과정에서 수행되며 상기 전경 마스크 영역은 상기 스타일 변환 네트워크의 학습 과정에 따라 업데이트 되는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 9 항에 있어서, 상기 소스 이미지로부터 상기 소스 텍스트에 연관된 전경 마스크 영역을 결정하는 단계는, 상기 스타일 변환 네트워크의 학습 과정에서 선택된 소스 이미지 패치에 기초하여 전경 마스크 영역을 결정하는 단계;를 포함하는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

삭제

제 1 항에 있어서, 상기 선택된 소스 이미지 패치는, 상기 소스 이미지의 전경 마스크 영역에 대하여 텍스트 매칭 선택 모듈에 의하여 소스 텍스트에 기초하여 스타일 변환될 부분으로 선택되는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 1 항에 있어서, 상기 선택된 출력 이미지 패치는, 상기 선택된 소스 이미지 패치의 위치와 대응되도록 상기 출력 이미지에서 선택되는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 1 항에 있어서, 이미지 패치의 크기 또는 선택되는 이미지 패치의 수 중 적어도 하나는 상기 스타일 변환 네트워크의 학습 과정에서 동적으로 조정되는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 1 항에 있어서,상기 스타일 변환 네트워크의 학습 중 상기 사전학습된 텍스트 인코더 및 상기 사전학습된 이미지 인코더 중 적어도 하나의 가중치는 고정된, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 1 항에 있어서, 상기 스타일 변환 네트워크를 학습시키는 단계는, 각각의 패치 별로 상기 인코딩된 선택된 출력 이미지 패치와 상기 인코딩된 선택된 소스 이미지 패치의 차이 및 인코딩된 타겟 텍스트와 인코딩된 소스 텍스트의 차이에 기초한 제 1 손실함수에 기초하여 상기 스타일 변환 네트워크를 학습시키는 단계; 를 포함하는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 16 항에 있어서, 상기 제 1 손실함수는, 수학식 1 에 기초하는, 수학식1:여기서, 이며, 는 사전학습된 텍스트 인코더, 는 사전학습된 이미지 인코더, 는 텍스트 매칭 선택 모듈에 의하여 소스 텍스트에 기초하여 스타일 변환될 분으로 선택된 패치들이며, 는 소스 텍스트에서 대상 텍스트를 선택하기 위한 함수이고, 그리고 는 패치 증강(patch augmentation)을 위한 함수인, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 1 항에 있어서, 상기 스타일 변환 네트워크를 학습시키는 단계는, 스타일 변환 이후에도 스타일 변환 대상의 의미 정보를 유지하기 위한 제 2 손실함수에 기초하여 상기 스타일 변환 네트워크를 학습시키는 단계를 포함하는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 18 항에 있어서, 상기 제 2 손실함수는, 수학식 2 에 기초하는 수학식 2:여기서, JSD()는 소스 이미지의 패치 와 출력 이미지의 패치 의 특징 분포(feature distributions)를 맞추는데 사용되는 젠슨 섀넌 발산(Jensen-Shannon divergence)인, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 1 항에 있어서, 상기 스타일 변환 네트워크를 학습시키는 단계는, 스타일 변환 대상 이외의 영역에 대한 소스 이미지의 정보를 유지하기 위한 배경 마스크 영역과 상기 소스 이미지 및 상기 배경 마스크 영역과 상기 출력 이미지에 기초한 제 3 손실함수에 기초하여 상기 스타일 변환 네트워크를 학습시키는 단계;를 포함하는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 1 항에 있어서, 사전결정된 반복(iteration) 동안 상기 스타일 변환 네트워크를 학습시키는 단계 이후에 상기 스타일 변환 네트워크를 이용하여 스타일 변환된 출력 이미지를 최종 출력 이미지로 결정하는 단계;를 더 포함하는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

컴퓨터 장치의 하나 이상의 프로세서에서 실행가능한 이미지의 스타일 변환을 위한 방법으로서, 사전학습된 텍스트 인코더로 소스 텍스트 및 타겟 텍스트를 연산하여 인코딩된 소스 텍스트 및 인코딩된 타겟 텍스트를 생성하는 단계; 사전학습된 이미지 인코더로 선택된 소스 이미지 패치 및 소스 이미지를 스타일 변환 네트워크를 이용하여 스타일 변환된 출력 이미지의 선택된 출력 이미지 패치를 연산하여 인코딩된 선택된 소스 이미지 패치 및 인코딩된 선택된 출력 이미지 패치를 생성하는 단계; 및상기 인코딩된 소스 텍스트, 상기 인코딩된 타겟 텍스트 상기 인코딩된 선택된 소스 이미지 패치 및 상기 인코딩된 선택된 출력 이미지 패치에 기초하여 상기 스타일 변환 네트워크를 학습시키는 단계; 를 포함하고, 그리고상기 선택된 소스 이미지 패치는, 텍스트 매칭 선택 모듈에 의하여 소스 텍스트에 기초하여 스타일 변환될 부분으로 선택되는, 방법.

컴퓨터 장치로서, 하나 이상의 프로세서; 및 상기 하나 이상의 프로세서에서 실행가능한 명령들을 저장하는 메모리;를 포함하고, 상기 프로세서는, 사전학습된 텍스트 인코더로 소스 텍스트 및 타겟 텍스트를 연산하여 인코딩된 소스 텍스트 및 인코딩된 타겟 텍스트를 생성하고,사전학습된 이미지 인코더로 선택된 소스 이미지 패치 및 소스 이미지를 스타일 변환 네트워크를 이용하여 스타일 변환된 출력 이미지의 선택된 출력 이미지 패치를 연산하여 인코딩된 선택된 소스 이미지 패치 및 인코딩된 선택된 출력 이미지 패치를 생성하고, 그리고상기 인코딩된 소스 텍스트, 상기 인코딩된 타겟 텍스트 상기 인코딩된 선택된 소스 이미지 패치 및 상기 인코딩된 선택된 출력 이미지 패치에 기초하여 상기 스타일 변환 네트워크를 학습시키고, 그리고, 상기 선택된 소스 이미지 패치는, 텍스트 매칭 선택 모듈에 의하여 소스 텍스트에 기초하여 스타일 변환될 부분으로 선택되는,컴퓨터 장치.