사람 또는 동물의 얼굴을 포함한 도메인 간의 얼굴 특징점을 검출하는 특징점 검출 시스템
FEATURE POINT DETECTION SYSTEM FOR DETECTING FACIAL FEATURE POINTS BETWEEN DOMAINS INCLUDING HUMAN OR ANIMAL FACES
특허 요약
개시된 발명의 일 측면에 따른 특징점 검출 시스템은, 인간 또는 동물의 얼굴이 객체로서 포함된 객체 이미지들을 입력받도록 구성되는 데이터 수신 모듈; 및 제1 기계 학습 모델을 이용하여, 상기 객체 이미지들을 임베딩하여 상기 객체 이미지들에 하나씩 대응되고, 상기 객체 이미지들의 객체들 간에 서로 대응되는 영역을 분석하는데 이용되는 종간 얼굴 임베딩을 생성하도록 구성되는 인코더를 포함할 수 있다.
청구항
번호청구항
1

인간 또는 동물의 얼굴이 객체로서 포함된 객체 이미지들을 입력받도록 구성되는 데이터 수신 모듈;제1 기계 학습 모델을 이용하여, 상기 객체 이미지들을 임베딩하여 상기 객체 이미지들에 하나씩 대응되고, 상기 객체 이미지들의 객체들 간에 서로 대응되는 영역을 분석하는데 이용되는 종간 얼굴 임베딩을 생성하도록 구성되는 인코더;상기 종간 얼굴 임베딩을 기초로 상기 제1 기계 학습 모델을 학습하도록 구성되는 기계 학습 모듈; 및상기 객체 이미지들을 임베딩하여 상기 객체 이미지들의 미리 설정된 포인트끼리 서로 대응되도록 구성되는 연속 표면 임베딩(continuous surface embedding; CSE)들을 생성하도록 구성되는CSE 생성 모듈을 포함하고,상기 기계 학습 모듈은:상기 종간 얼굴 임베딩 및 상기 연속 표면 임베딩의 차이를 기초로 제1 손실 함수를 연산하고; 그리고상기 제1 손실 함수가 학습이 반복하면서 감소하게 상기 제1 기계 학습 모델을 학습하도록 구성되고,제2 기계 학습 모델을 이용하여, 상기 생성된 종간 얼굴 임베딩을 변환하여 상기 객체 이미지들에 하나씩 대응되는 특징 임베딩을 생성하도록 구성되는 도메인 컨버터; 및입력된 노이즈 값을 기초로 임의의 객체가 포함된 랜덤 객체 이미지를 생성하도록 구성되는 특정 도메인 얼굴 생성 모듈을 더 포함하고,상기 특정 도메인 얼굴 생성 모듈은,복수개의 상기 랜덤 객체 이미지들에 하나씩 대응되는 종간 특징점들을 생성하도록 구성되고,상기 기계 학습 모듈은:상기 특징 임베딩 및 상기 종간 특징점의 차이를 기초로 제2 손실 함수를 연산하고; 그리고상기 제2 손실 함수가 학습이 반복하면서 감소하게 상기 제2 기계 학습 모델을 학습하도록 구성되는, 특징점 검출 시스템.

2

삭제

3

삭제

4

삭제

5

삭제

6

삭제

7

삭제

8

제1항에 있어서,상기 특정 도메인 얼굴 생성 모듈은,입력된 제1 노이즈 값을 기초로 임의의 인간의 얼굴이 객체로서 포함된 랜덤 인간 이미지를 생성하도록 구성되고,상기 인코더는,상기 제1 기계 학습 모델을 이용하여, 상기 랜덤 인간 이미지를 임베딩하여 상기 랜덤 인간 이미지에 대응되는 랜덤 인간 얼굴 임베딩을 생성하도록 구성되는, 특징점 검출 시스템.

9

제8항에 있어서,상기 도메인 컨버터는,상기 제2 기계 학습 모델을 이용하여, 상기 생성된 랜덤 인간 얼굴 임베딩을 변환하여 상기 랜덤 인간 이미지에 대응되는 랜덤 인간 특징 임베딩을 생성하도록 구성되는, 특징점 검출 시스템.

10

제9항에 있어서,상기 특정 도메인 얼굴 생성 모듈은,복수개의 노이즈 값들의 집합으로 이루어진 잠재 공간(Latent Space)에 포함된 노이즈 값들 중에서 선택되어 입력된 제2 노이즈 값을 기초로 임의의 동물의 얼굴이 객체로서 포함된 랜덤 동물 이미지를 생성하도록 구성되고,상기 인코더는,상기 제1 기계 학습 모델을 이용하여, 상기 랜덤 동물 이미지를 임베딩하여 상기 랜덤 동물 이미지에 대응되는 랜덤 동물 얼굴 임베딩을 생성하도록 구성되는, 특징점 검출 시스템.

11

제10항에 있어서,상기 랜덤 인간 특징 임베딩을 기초로, 상기 잠재 공간에 포함된 복수개의 노이즈 값들 중에서 제2 노이즈 값을 선택하도록 구성되는 제2 노이즈 값 결정 모듈을 더 포함하는, 특징점 검출 시스템.

12

제11항에 있어서,상기 기계 학습 모듈은,상기 랜덤 인간 얼굴 임베딩 및 상기 랜덤 동물 얼굴 임베딩의 서로 대응되는 영역들 사이의 차이를 기초로 제3 손실 함수를 연산하고; 그리고상기 제3 손실 함수가 학습이 반복하면서 감소하게 상기 제1 기계 학습 모델을 학습하도록 구성되는, 특징점 검출 시스템.

13

데이터 수신 모듈에 의해, 인간 또는 동물의 얼굴이 객체로서 포함된 객체 이미지들을 입력받는 단계;인코더에 의해, 제1 기계 학습 모델을 이용하여, 상기 객체 이미지들을 임베딩하여 상기 객체 이미지들에 하나씩 대응되고, 상기 객체 이미지들의 객체들 간에 서로 대응되는 영역을 분석하는데 이용되는 종간 얼굴 임베딩을 생성하는 단계;기계 학습 모듈에 의해, 상기 종간 얼굴 임베딩을 기초로 상기 제1 기계 학습 모델을 학습하는 단계; 및CSE 생성 모듈에 의해, 상기 객체 이미지들을 임베딩하여 상기 객체 이미지들의 미리 설정된 포인트끼리 서로 대응되도록 구성되는 연속 표면 임베딩들을 생성하는 단계를 포함하고,상기 제1 기계 학습 모델을 학습하는 단계는,상기 기계 학습 모듈에 의해, 상기 종간 얼굴 임베딩 및 상기 연속 표면 임베딩의 차이를 기초로 제1 손실 함수를 연산하는 단계; 및상기 기계 학습 모듈에 의해, 상기 제1 손실 함수가 학습이 반복하면서 감소하게 상기 제1 기계 학습 모델을 학습하는 단계를 포함하고,도메인 컨버터에 의해, 제2 기계 학습 모델을 이용하여, 상기 생성된 종간 얼굴 임베딩을 변환하여 상기 객체 이미지들에 하나씩 대응되는 특징 임베딩을 생성하는 단계;특정 도메인 얼굴 생성 모듈에 의해, 입력된 노이즈 값을 기초로 임의의 객체가 포함된 랜덤 객체 이미지를 생성하는 단계;상기 특정 도메인 얼굴 생성 모듈에 의해, 복수개의 상기 랜덤 객체 이미지들에 하나씩 대응되는 종간 특징점들을 생성하는 단계;상기 기계 학습 모듈에 의해, 상기 특징 임베딩 및 상기 종간 특징점의 차이를 기초로 제2 손실 함수를 연산하는 단계; 및상기 기계 학습 모듈에 의해, 상기 제2 손실 함수가 학습이 반복하면서 감소하게 상기 제2 기계 학습 모델을 학습하는 단계를 더 포함하는 특징점 검출 방법.

14

삭제

15

삭제

16

삭제

17

제13항에 있어서,상기 특정 도메인 얼굴 생성 모듈에 의해, 입력된 제1 노이즈 값을 기초로 임의의 인간의 얼굴이 객체로서 포함된 랜덤 인간 이미지를 생성하는 단계; 및상기 인코더에 의해, 상기 제1 기계 학습 모델을 이용하여, 상기 랜덤 인간 이미지를 임베딩하여 상기 랜덤 인간 이미지에 대응되는 랜덤 인간 얼굴 임베딩을 생성하는 단계를 더 포함하는 특징점 검출 방법.

18

제17항에 있어서,상기 도메인 컨버터에 의해, 상기 제2 기계 학습 모델을 이용하여, 상기 생성된 랜덤 인간 얼굴 임베딩을 변환하여 상기 랜덤 인간 이미지에 대응되는 랜덤 인간 특징 임베딩을 생성하는 단계;상기 특정 도메인 얼굴 생성 모듈에 의해, 복수개의 노이즈 값들의 집합으로 이루어진 잠재 공간(Latent Space)에 포함된 노이즈 값들 중에서 선택되어 입력된 제2 노이즈 값을 기초로 임의의 동물의 얼굴이 객체로서 포함된 랜덤 동물 이미지를 생성하는 단계;상기 인코더에 의해, 상기 제1 기계 학습 모델을 이용하여, 상기 랜덤 동물 이미지를 임베딩하여 상기 랜덤 동물 이미지에 대응되는 랜덤 동물 얼굴 임베딩을 생성하는 단계; 및제2 노이즈 값 결정 모듈에 의해, 상기 랜덤 인간 특징 임베딩을 기초로, 상기 잠재 공간에 포함된 복수개의 노이즈 값들 중에서 제2 노이즈 값을 선택하는 단계를 더 포함하는 특징점 검출 방법.

19

제18항에 있어서,상기 기계 학습 모듈에 의해, 상기 랜덤 인간 얼굴 임베딩 및 상기 랜덤 동물 얼굴 임베딩의 서로 대응되는 영역들 사이의 차이를 기초로 제3 손실 함수를 연산하는 단계; 및상기 기계 학습 모듈에 의해, 상기 제3 손실 함수가 학습이 반복하면서 감소하게 상기 제1 기계 학습 모델을 학습하는 단계를 더 포함하는 특징점 검출 방법.

20

제13항 및 제17항 내지 제19항 중 어느 한 항의 특징점 검출 방법을 실행시키도록 컴퓨터로 판독 가능한 비일시적 기록매체에 저장된 컴퓨터 프로그램.