얼굴 진단 방법, 장치 및 프로그램
Facial diagnostic methods, devices and programs
특허 요약
본 발명의 일 실시예에 따라, 컴퓨팅 장치의 프로세서에 의하여 수행되는 사용자의 얼굴 진단 방법이 개시된다. 상기 방법은: 사용자의 얼굴이 포함된 적어도 하나의 이미지를 획득하는 단계; 상기 적어도 하나의 이미지의 타입에 대응하여 사전 학습된 표식점 예측 모델에 상기 적어도 하나의 이미지를 입력하여, 상기 타입에 대응하는 복수의 표식점을 예측하는 단계; 및 상기 복수의 표식점을 얼굴 진단 알고리즘에 입력하여, 얼굴 진단 결과 정보를 생성하는 단계;를 포함하고, 상기 타입은, 상기 사용자의 정면 얼굴을 포함하는 제 1 타입 및 상기 사용자의 측면 얼굴을 포함하는 제 2 타입을 포함하고, 상기 얼굴 진단 결과 정보는, 교정이 필요한 상태인지 여부에 대한 정보, 양악 수술이 필요한 상태인지 여부에 대한 정보 및 분류된 얼굴형에 대한 정보 중 적어도 하나를 포함할 수 있다. 서울특별시 서울산업진흥원 2020년도 캠퍼스타운 기술매칭 지원사업(CT200002) "AI(인공지능) 딥러닝 기반 치과 안면 교정진단 응용프로그램"을 통해 개발된 기술이다.
청구항
번호청구항
1

컴퓨팅 장치의 프로세서에 의하여 수행되는 사용자의 얼굴 진단 방법에 있어서, 상기 방법은:사용자의 얼굴이 포함된 적어도 하나의 이미지를 획득하는 단계;상기 적어도 하나의 이미지의 타입에 대응하여 사전 학습된 표식점 예측 모델에 상기 적어도 하나의 이미지를 입력하여, 상기 타입에 대응하는 복수의 표식점을 예측하는 단계; 및상기 복수의 표식점을 얼굴 진단 알고리즘에 입력하여, 얼굴 진단 결과 정보를 생성하는 단계; 를 포함하고,상기 타입은,상기 사용자의 정면 얼굴을 포함하는 제 1 타입 및 상기 사용자의 측면 얼굴을 포함하는 제 2 타입을 포함하고,상기 얼굴 진단 결과 정보는, 교정이 필요한 상태인지 여부에 대한 정보, 양악 수술이 필요한 상태인지 여부에 대한 정보 및 분류된 얼굴형에 대한 정보 중 적어도 하나를 포함하며,상기 얼굴 진단 알고리즘은,상기 복수의 표식점 중 턱 부분에 위치하는 적어도 세 개의 표식점으로 산출된 복수의 사잇각에 대한 스코어에 기초하여, 계란형, 사각형 및 브이라인형 중 적어도 하나로 분류하는 얼굴형 진단 알고리즘;상기 복수의 표식점에 기초하여, 안면 비대칭 지수, 안면 비율 및 측면 돌출 지수를 각각에 대한 스코어를 산출하는 교정 진단 알고리즘; 및상기 복수의 표식점에 기초하여, 입술의 돌출 정도, 상기 안면 비대칭 지수 및 상기 측면 돌출 지수 각각에 대한 스코어를 산출하는 양악 진단 알고리즘; 중 적어도 하나를 포함하는,얼굴 진단 방법.

2

제 1 항에 있어서,상기 표식점 예측 모델은,정면 얼굴 상에서 사전 설정된 지점들의 제 1 좌표 값들을 예측하도록 학습된 제 1 모델; 및측면 얼굴 상에서 사전 설정된 지점들의 제 2 좌표 값들을 예측하도록 학습된 제 2 모델;을 포함하고,상기 복수의 표식점은,상기 제 1 좌표 값들 또는 상기 제 2 좌표 값들에 대응되는,얼굴 진단 방법.

3

삭제

4

제 1 항에 있어서,상기 얼굴형 진단 알고리즘은,사전 설정된 세 개의 표식점을 기초로 제 1 사잇각을 산출하고, 사전 설정된 다른 세 개의 표식점을 기초로 제 2 사잇각을 산출하고, 사전 설정된 또 다른 세 개의 표식점을 기초로 제 3 사잇각을 산출하고,상기 제 1 사잇각 및 상기 제 3 사잇각의 평균이 제 1 값을 초과하는 경우, 상기 사용자의 얼굴형을 상기 계란형으로 분류하고,상기 제 1 사잇각 및 상기 제 3 사잇각의 평균이 상기 제 1 값 이하이고, 상기 제 2 사잇각이 상기 제 1 값을 초과하는 경우, 상기 사용자의 얼굴형을 상기 사각형으로 분류하고,상기 제 1 사잇각 및 상기 제 3 사잇각의 평균이 상기 제 1 값 이하이고, 상기 제 2 사잇각이 상기 제 1 값 이하인 경우, 상기 사용자의 얼굴형을 상기 브이라인형으로 분류하는,얼굴 진단 방법.

5

제 1 항에 있어서,상기 교정 진단 알고리즘은,사전 설정된 두 개의 표식점을 연결한 양측동공간선의 수직선과 사전 설정된 다른 두 개의 표식점을 연결한 양측입술간선의 제 4 사잇각을 산출하고,상기 제 4 사잇각을 기초로 상기 안면 비대칭 지수와 관련된 제 1 스코어를 산출하는,얼굴 진단 방법.

6

제 5 항에 있어서,상기 교정 진단 알고리즘은,사전 설정된 두 개의 표식점을 연결하여 중안면부를 구분하고, 사전 설정된 다른 두 개의 표식점을 연결하여 하안면부를 구분하고, 사전 설정된 또 다른 두 개의 표식점을 연결하여 상기 하안면부에 포함된 인중부를 구분하고,상기 중안면부와 상기 하안면부의 제 1 비율 값을 기초로 제 1 서브 스코어를 산출하고, 상기 하안면부 내에서 상기 인중부를 중심으로 상단과 하단의 제 2 비율 값을 기초로 제 2 서브 스코어를 산출하고,상기 제 1 서브 스코어 및 상기 제 2 서브 스코어에 기초하여, 상기 안면 비율과 관련된 제 2 스코어를 산출하는,얼굴 진단 방법.

7

제 6 항에 있어서,상기 교정 진단 알고리즘은,상기 사용자의 얼굴을 측면에서 바라보았을 때 미간에 해당되는 제 1 표식점, 코의 하연과 상순의 외형이 만나는 제 2 표식점 및 턱 연조직 외형의 가장 돌출된 제 3 표식점을 기초로 제 5 사잇각을 산출하고,상기 제 5 사잇각을 기초로 상기 측면 돌출 지수와 관련된 제 3 스코어를 산출하는,얼굴 진단 방법.

8

제 7 항에 있어서,상기 제 1 스코어는 상대적으로 가장 큰 점수가 할당되고, 상기 제 2 스코어는 상대적으로 가장 작은 점수가 할당되며, 상기 제 3 스코어는 상기 제 1 스코어 보다 작고, 상기 제 2 스코어 보다 큰 점수가 할당되고,상기 제 1 스코어, 상기 제 2 스코어 및 상기 제 3 스코어를 합산한 합산 값에 기초하여, 교정이 필요한 상태인지 여부를 결정하는,얼굴 진단 방법.

9

제 1 항에 있어서,상기 양악 진단 알고리즘은,상기 사용자의 얼굴을 측면에서 바라보았을 때 턱 연조직 외형의 가장 돌출된 제 3 표식점과 코에서 가장 앞으로 튀어나온 제 4 표식점을 연결하여 기준선을 설정하고,상기 사용자의 아랫입술에 해당되는 제 5 표식점 및 상기 사용자의 윗입술에 해당되는 제 6 표식점 각각과 상기 기준선 사이의 거리를 기초로 상기 입술의 돌출 정도와 관련된 제 4 스코어를 산출하는,얼굴 진단 방법.

10

제 9 항에 있어서,상기 양악 진단 알고리즘은,사전 설정된 두 개의 표식점을 연결한 양측동공간선의 수직선과 사전 설정된 다른 두 개의 표식점을 연결한 양측입술간선의 제 4 사잇각을 산출하고,상기 제 4 사잇각을 기초로 상기 안면 비대칭 지수와 관련된 제 1 스코어를 산출하는,얼굴 진단 방법.

11

제 10 항에 있어서,상기 양악 진단 알고리즘은,상기 사용자의 얼굴을 측면에서 바라보았을 때 미간에 해당되는 제 1 표식점, 코의 하연과 상순의 외형이 만나는 제 2 표식점 및 턱 연조직 외형의 가장 돌출된 제 3 표식점을 기초로 제 5 사잇각을 산출하고,상기 제 5 사잇각을 기초로 상기 측면 돌출 지수와 관련된 제 3 스코어를 산출하는,얼굴 진단 방법.

12

제 11 항에 있어서,상기 제 4 스코어는 상대적으로 큰 점수가 할당되고, 상기 제 1 스코어 및 상기 제 3 스코어는 상대적으로 작은 점수가 할당되며,상기 제 1 스코어, 상기 제 3 스코어 및 상기 제 4 스코어를 합산한 합산 값에 기초하여, 교정이 필요한 상태인지 여부를 결정하는,얼굴 진단 방법.

13

제 1 항에 있어서,상기 사용자의 얼굴이 포함된 적어도 하나의 이미지를 획득하는 단계는,외부 컴퓨팅 장치로부터 상기 사용자의 얼굴이 포함된 적어도 하나의 이미지를 수신하는 단계;를 포함하고,상기 얼굴 진단 결과 정보를 상기 외부 컴퓨팅 장치로 전송하는 단계;를 더 포함하는,얼굴 진단 방법.

14

제 1 항에 있어서,상기 사용자의 얼굴이 포함된 적어도 하나의 이미지를 획득하는 단계는,카메라부를 통해 촬영되는 영상에서 상기 사용자의 얼굴에 포함된 두 개의 눈을 식별하는 단계; 및상기 두 개의 눈을 연결하는 양측동공간선이 수평면에 평행이 되는 경우, 상기 사용자의 얼굴이 포함된 적어도 하나의 이미지를 캡처하는 단계;를 포함하는,얼굴 진단 방법.

15

하나 이상의 인스트럭션을 저장하는 메모리; 및상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 제 1 항의 방법을 수행하는, 장치.

16

하드웨어인 컴퓨터와 결합되어, 제 1 항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.