얼굴 모션 캡쳐 장치에 있어서, 비디오를 생성하도록 구성된 카메라 모듈; 및프로세서를 포함하고, 상기 프로세서는, 상기 비디오 내에서, 지정된 인물의 얼굴을 탐지하고, 식별된 상기 얼굴로부터, 중립 표정을 가지는 정면 얼굴에 대응하는 제1 얼굴을 나타내는(indicating) 제1 데이터를 생성하는 제1 캡쳐부; 상기 비디오 내에서, 상기 지정된 인물의 상기 얼굴을 탐지하고, 상기 지정된 인물의 상기 얼굴에 대한 블렌드쉐입을 위하여, 지정된 표정을 가지는 타겟 얼굴에 대응하는 제2 얼굴을 나타내는 제2 데이터를 생성하는 제2 캡쳐부; 상기 비디오 내에서, 상기 지정된 인물을 포함하는 프레임 또는 이미지를 획득하고, 상기 프레임 또는 상기 이미지 내에 포함된 상기 지정된 인물의 상기 얼굴의 특징점을 추출하고, 상기 특징점에 기반하여 상기 지정된 인물의 상기 얼굴 내에 화이트 마커를 생성하는 얼굴 표정 추적기; 및상기 화이트 마커가 생성된 상기 지정된 인물의 상기 얼굴로부터, 상기 제1 얼굴과 상기 제2 얼굴 사이의 제3 얼굴을 나타내는 제3 데이터를 생성하는 표정 데이터 변환기를 포함하는, 얼굴 모션 캡쳐 장치.

제1항에 있어서, 상기 비디오는, 외부 장치의 디스플레이를 통해 표시되는 오리지널 비디오를 포함하고, 상기 카메라 모듈은, 상기 외부 장치의 상기 디스플레이를 통해 표시되는 상기 오리지널 비디오를 촬영함으로써, 상기 비디오를 생성하도록 구성되는, 얼굴 모션 캡쳐 장치.

제2항에 있어서, 상기 제1 캡쳐부는, 상기 오리지널 비디오를 촬영함으로써 생성된 상기 비디오 내에서, 상기 지정된 인물의 상기 얼굴을 3차원으로 나타내는 마스크 데이터를 획득하고, 상기 마스크 데이터에 기반하여, 상기 제1 데이터를 획득하도록 구성되고, 상기 제2 캡쳐부는, 상기 오리지널 비디오를 촬영함으로써 생성된 상기 비디오 내에서, 상기 마스크 데이터를 획득하고, 상기 마스크 데이터에 기반하여, 상기 제2 데이터를 획득하도록 구성되는, 얼굴 모션 캡쳐 장치.

제3항에 있어서, 상기 제1 캡쳐부는, 상기 마스크 데이터 내에서, 특징점을 추출하고, 추출된 상기 특징점으로부터, 상기 지정된 인물의 상기 얼굴에 관련된 표정들을 분류하고, 복수의 중립 표정 이미지들과 복수의 비중립 표정 이미지들에 기반하여, 중립 표정을 식별하도록 학습된 알고리즘 모델을 이용하여, 분류된 상기 표정들 내에서, 상기 인물에 관련된 상기 중립 표정을 식별하고, 식별된 상기 중립 표정에 기반하여, 상기 제1 데이터를 획득하도록, 구성되는, 얼굴 모션 캡쳐 장치.

제1항에 있어서, 상기 표정 데이터 변환기는, 상기 제1 데이터로부터, 상기 제1 얼굴에 대응하는 제1 키 값을 식별하고, 상기 제2 데이터로부터, 상기 제2 얼굴에 대응하는 제2 키 값을 식별하고, 상기 제1 키 값과 상기 제2 키 값에 기반하여, 상기 제3 얼굴에 대응하는 제3 키 값을 식별하고, 상기 제3 키 값을 이용하여, 상기 제3 데이터를 생성하도록, 구성되는, 얼굴 모션 캡쳐 장치.

제5항에 있어서, 상기 표정 데이터 변환기는, 상기 제1 키 값 및 상기 제3 키 값에 기반하여, 상기 제1 얼굴과 상기 제3 얼굴 사이의 제4 얼굴에 대응하는 제4 키 값을 식별하고, 상기 제4 키 값을 이용하여, 상기 제4 데이터를 생성하고, 상기 제2 키 값 및 상기 제3 키 값에 기반하여, 상기 제2 얼굴과 상기 제3 얼굴 사이의 제5 얼굴에 대응하는 제5 키 값을 식별하고, 상기 제5 키 값을 이용하여, 상기 제5 데이터를 생성함으로써, 상기 제1 얼굴과 상기 제2 얼굴 사이의 복수의 얼굴들을 나타내는 데이터 세트(set of data)를 획득하도록, 구성되는, 얼굴 모션 캡쳐 장치.

제6항에 있어서, 메모리를 더 포함하고, 상기 데이터 세트를 상기 메모리 내에 저장하는 데이터 처리부를 포함하는, 얼굴 모션 캡쳐 장치.

제1항에 있어서, 상기 비디오의 노이즈를 제거하고, 상기 비디오의 해상도를 높임으로써, 상기 비디오의 화질을 개선한 개선 비디오를 생성하도록 구성되는 비디오 처리부를 더 포함하는, 얼굴 모션 캡쳐 장치.

제8항에 있어서, 상기 얼굴 표정 추적기는, 상기 제1 얼굴 내에 샘플 마커를 생성하고, 상기 샘플 마커가 생성된 상기 제1 얼굴을 포함하는 이미지를 기계 학습하고, 상기 기계 학습에 기반하여, 상기 비디오 전체에 상기 화이트 마커를 생성하고, 상기 화이트 마커가 생성된 마커 비디오를 출력하도록, 구성되는, 얼굴 모션 캡쳐 장치.

제9항에 있어서, 상기 얼굴 표정 추적기는, 상기 마커 비디오로부터, 상기 화이트 마커의 위치를 식별하고, 상기 화이트 마커의 위치에 기반하여, 표정 변화에 따른 상기 화이트 마커의 위치 변화를 나타내는 상기 화이트 마커의 조합 세트를 생성하도록, 구성되고, 상기 표정 데이터 변환기는, 상기 화이트 마커의 상기 조합 세트 중에서, 상기 지정된 표정에 대응하는 세트를 식별하고, 상기 지정된 표정에 대응하는 상기 세트를 이용하여, 상기 제3 데이터를 획득하도록 구성되는, 얼굴 모션 캡쳐 장치.

제10항에 있어서, 상기 얼굴 표정 추적기는, 상기 제1 얼굴로부터 상기 타겟 얼굴로 변화하는 동안, 상기 화이트 마커의 위치를 추적하고, 상기 위치의 추적에 기반하여, 상기 지정된 표정에 대응하는 상기 세트를 생성하도록 구성되는, 얼굴 모션 캡쳐 장치.

얼굴 모션 캡쳐 장치의 방법에 있어서, 비디오 내에서, 지정된 인물의 얼굴을 탐지하고, 식별된 상기 얼굴로부터, 중립 표정을 가지는 정면 얼굴에 대응하는 제1 얼굴을 나타내는(indicating) 제1 데이터를 생성하는 동작; 상기 비디오 내에서, 상기 지정된 인물의 상기 얼굴을 탐지하고, 상기 지정된 인물의 상기 얼굴에 대한 블렌드쉐입을 위하여, 지정된 표정을 가지는 타겟 얼굴에 대응하는 제2 얼굴을 나타내는 제2 데이터를 생성하는 동작;상기 비디오 내에서, 상기 지정된 인물을 포함하는 프레임 또는 이미지를 획득하고, 상기 프레임 또는 상기 이미지 내에 포함된 상기 지정된 인물의 상기 얼굴의 특징점을 추출하고, 상기 특징점에 기반하여 상기 지정된 인물의 상기 얼굴 내에 화이트 마커를 생성하는 동작; 및상기 화이트 마커가 생성된 상기 지정된 인물의 상기 얼굴로부터, 상기 제1 얼굴과 상기 제2 얼굴 사이의 제3 얼굴을 나타내는 제3 데이터를 생성하는 동작을 포함하는, 방법.