제 10 항에 있어서, 상기 포즈 인코딩 단계는, 상기 제 1 이미지 데이터를 입력 받아 컨볼루션 블록 및 레즈넷 블록에서 인스턴스 정규화를 사용하여 상기 제1 대상의 아이덴티티 정보를 감소시킨 포즈 정보를 추출하는, 포즈 변환 방법.

제 10 항에 있어서,상기 아이덴티티 인코딩 단계는상기 제 2 이미지 데이터로부터 아이덴티티 벡터를 생성하고,상기 아이덴티티 벡터를 아이덴티티 공간 벡터로 매핑하고,상기 아이덴티티 공간 벡터에 기반하여 제 2 대상의 아이덴티티 정보를 생성하는, 포즈 변환 방법.

제 12 항에 있어서,상기 제 2 대상의 아이덴티티 정보를 생성하는 단계는,상기 아이덴티티 공간 벡터의 절반을 평균으로 이용하고, 나머지 절반을 표준편차로 이용하여 상기 아이덴티티 공간 벡터를 샘플링한 잠재 벡터를 포함하는 제 2 대상의 아이덴티티 정보를 생성하는, 포즈 변환 방법.

삭제

제 1 이미지 데이터를 입력 받아 제 1 이미지에 포함된 제 1 대상의 포즈(pose) 정보를 추출하는 포즈 인코더부;제 2 이미지 데이터를 입력 받아 제 2 이미지에 포함된 제 2 대상의 아이덴티티(identity) 정보를 추출하는 아이덴티티 인코더부; 및상기 포즈 정보 및 상기 아이덴티티 정보를 기초로 제 2 대상이 제 1 대상의 포즈를 취하도록 제 2 대상의 포즈를 변환한 변환 이미지를 생성하는 디코더부를 포함하고,상기 디코더부는,상기 제 1 대상의 포즈 정보 및 상기 제 2 대상의 아이덴티티 정보를 수신하여 포즈와 아이덴티티 간 상관관계가 존재하는 부분이 강조된 아이덴티티 특징 벡터 및 반전 어텐션을 통한 신체 이외의 부분에 대한 반전 특징 벡터를 생성하는 어텐션 모듈; 및상기 아이덴티티 특징 벡터 및 상기 반전 특징 벡터에 기초하여 변환 이미지를 생성하는 디코더를 포함하며,상기 어텐션 모듈은,상기 포즈 인코더부 및 상기 아이덴티티 인코더부 각각으로부터 스킵 연결된 포즈 특징(skip connected pose feature) 벡터 및 스킵 연결된 아이덴티티 특징(skip connected identity feature) 벡터를 더 수신하며,상기 스킵 연결된 포즈 특징 벡터 및 상기 스킵 연결된 아이덴티티 특징 벡터 간 어텐션 맵(attention map)을 생성하며, 상기 어텐션 맵에 기초하여 아이덴티티 특징 벡터를 생성하는, 포즈 변환 장치.

제 1 항에 있어서, 상기 포즈 인코더부는, 상기 제 1 이미지 데이터를 입력 받아 컨볼루션 블록 및 레즈넷 블록에서 인스턴스 정규화를 사용하여 상기 제1 대상의 아이덴티티 정보를 감소시킨 포즈 정보를 추출하는, 포즈 변환 장치.

제 1 항에 있어서,상기 아이덴티티 인코더부는,상기 제 2 이미지 데이터로부터 아이덴티티 벡터를 생성하는 인코더;상기 아이덴티티 벡터를 아이덴티티 공간 벡터로 매핑하는 매핑 네트워크; 및상기 아이덴티티 공간 벡터에 기반하여 제 2 대상의 아이덴티티 정보를 생성하는 샘플링부를 포함하는, 포즈 변환 장치.

제 3 항에 있어서,상기 샘플링부는, 상기 아이덴티티 공간 벡터의 절반을 평균으로 이용하고, 나머지 절반을 표준편차로 이용하여 상기 아이덴티티 공간 벡터를 샘플링한 잠재 벡터를 포함하는 제 2 대상의 아이덴티티 정보를 생성하는, 포즈 변환 장치.

삭제

삭제

제 1 항에 있어서,상기 어텐션 모듈은, 제1 컨볼루션 레이어를 통과한 상기 스킵 연결된 아이덴티티 특징 벡터와 제2 컨볼루션 레이어를 통과한 상기 스킵 연결된 포즈 특징 벡터를 행렬 곱한 값에 소프트맥스를 적용하여 아이덴티티 특징에 대한 정보를 포함하는 포즈 유도 아이덴티티 어텐션 맵을 생성하는, 포즈 변환 장치.

제 7 항에 있어서,상기 어텐션 모듈은, 제3 컨볼루션 레이어를 통과한 상기 스킵 연결된 아이덴티티 특징 벡터와 상기 포즈 유도 아이덴티티 어텐션 맵의 행렬 곱을 통하여 포즈 특징과 상관되는 부분에 초점을 맞춘 아이덴티티 특징을 생성하며, 상기 생성된 아이덴티티 특징에 학습 가능한 매개변수 a를 곱한 후 상기 스킵 연결된 아이덴티티 특징 벡터에 (1-a)을 곱하여 생성된 아이덴티티 특징과 요소 합(element-wise addition)하여 아이덴티티 특징 벡터를 생성하는, 포즈 변환 장치.

제 1 항에 있어서,상기 어텐션 모듈은,상기 어텐션 맵에 기초하여 반전 어텐션 맵을 생성하며, 상기 반전 어텐션 맵에 기초하여 반전 특징 벡터를 생성하는, 포즈 변환 장치.

제 1 이미지 데이터를 입력 받아 제 1 이미지에 포함된 제 1 대상의 포즈(pose) 정보를 추출하는 포즈 인코딩 단계;제 2 이미지 데이터를 입력 받아 제 2 이미지에 포함된 제 2 대상의 아이덴티티(identity) 정보를 추출하는 아이덴티티 인코딩 단계; 및상기 포즈 정보 및 상기 아이덴티티 정보를 기초로 제 2 대상이 제 1 대상의 포즈를 취하도록 제 2 대상의 포즈를 변환한 변환 이미지를 생성하는 디코딩 단계를 포함하며,상기 디코딩 단계는,상기 제 1 대상의 포즈 정보 및 상기 제 2 대상의 아이덴티티 정보를 수신하여 포즈와 아이덴티티 간 상관관계가 존재하는 부분이 강조된 아이덴티티 특징 벡터 및 반전 어텐션을 통한 신체 이외의 부분에 대한 반전 특징 벡터를 생성하고,상기 아이덴티티 특징 벡터 및 상기 반전 특징 벡터에 기초하여 변환 이미지를 생성하며,상기 포즈 인코딩 단계 및 상기 아이덴티티 인코딩 단계 각각으로부터 생성된 스킵 연결된 포즈 특징(skip connected pose feature) 벡터 및 스킵 연결된 아이덴티티 특징(skip connected identity feature) 벡터를 기초로 상기 스킵 연결된 포즈 특징 벡터 및 상기 스킵 연결된 아이덴티티 특징 벡터 간 어텐션 맵(attention map)을 생성하며, 상기 어텐션 맵에 기초하여 아이덴티티 특징 벡터를 생성하는, 포즈 변환 방법.

삭제

제 10 항에 있어서,상기 어텐션 맵을 생성하는 단계는, 제1 컨볼루션 레이어를 통과한 상기 스킵 연결된 아이덴티티 특징 벡터와 제2 컨볼루션 레이어를 통과한 상기 스킵 연결된 포즈 특징 벡터를 행렬 곱한 값에 소프트맥스를 적용하여 아이덴티티 특징에 대한 정보를 포함하는 포즈 유도 아이덴티티 어텐션 맵을 생성하는, 포즈 변환 방법.

제 16 항에 있어서,상기 어텐션 맵을 생성하는 단계는, 제3 컨볼루션 레이어를 통과한 상기 스킵 연결된 아이덴티티 특징 벡터와 상기 포즈 유도 아이덴티티 어텐션 맵의 행렬 곱을 통하여 포즈 특징과 상관되는 부분에 초점을 맞춘 아이덴티티 특징을 생성하며, 상기 생성된 아이덴티티 특징에 학습 가능한 매개변수 a를 곱한 후 상기 스킵 연결된 아이덴티티 특징 벡터에 (1-a)을 곱하여 생성된 아이덴티티 특징과 요소 합(element-wise addition)하여 아이덴티티 특징 벡터를 생성하는, 포즈 변환 방법.

제 10 항에 있어서,상기 디코딩 단계는상기 어텐션 맵에 기초하여 반전 어텐션 맵을 생성하며, 상기 반전 어텐션 맵에 기초하여 반전 특징 벡터를 생성하는, 포즈 변환 방법.

비일시적 컴퓨터 판독 가능한 저장 매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금, 제 1 이미지 데이터를 입력 받아 제 1 이미지에 포함된 제 1 대상의 포즈(pose) 정보를 추출하는 포즈 인코딩 단계;제 2 이미지 데이터를 입력 받아 제 2 이미지에 포함된 제 2 대상의 아이덴티티(identity) 정보를 추출하는 아이덴티티 인코딩 단계; 및상기 포즈 정보 및 상기 아이덴티티 정보를 기초로 제 2 대상이 제 1 대상의 포즈를 취하도록 제 2 대상의 포즈를 변환한 변환 이미지를 생성하는 디코딩 단계를 수행하도록 하며,상기 디코딩 단계는,상기 제 1 대상의 포즈 정보 및 상기 제 2 대상의 아이덴티티 정보를 수신하여 포즈와 아이덴티티 간 상관관계가 존재하는 부분이 강조된 아이덴티티 특징 벡터 및 반전 어텐션을 통한 신체 이외의 부분에 대한 반전 특징 벡터를 생성하고,상기 아이덴티티 특징 벡터 및 상기 반전 특징 벡터에 기초하여 변환 이미지를 생성하며,상기 포즈 인코딩 단계 및 상기 아이덴티티 인코딩 단계 각각으로부터 생성된 스킵 연결된 포즈 특징(skip connected pose feature) 벡터 및 스킵 연결된 아이덴티티 특징(skip connected identity feature) 벡터를 기초로 상기 스킵 연결된 포즈 특징 벡터 및 상기 스킵 연결된 아이덴티티 특징 벡터 간 어텐션 맵(attention map)을 생성하며, 상기 어텐션 맵에 기초하여 아이덴티티 특징 벡터를 생성하는, 컴퓨터 프로그램.