3차원 영상 모델 생성 방법 및 장치, 이를 이용한 영상인식 방법 및 장치 그리고 상기 방법들을 수행하는프로그램이 기록된 기록 매체
3D image model generation method and apparatus, image recognition method and apparatus using the same and recording medium storing program for performing the method thereof
특허 요약
본 발명은 3차원 영상 복원에 사용되는 3차원 영상 모델 생성 방법 및 3차원 영상 모델을 이용한 영상 인식 방법을 개시한다. 본 발명의 3차원 영상 모델 생성 방법은 3차원 스캔 영상 각각에 따른 3차원 영상 특징점들을 선택하고 2차원 공간에 투영시키는 단계; 상기 투영된 2차원 영상들 중에서 하나의 영상을 기준 영상으로 결정하고, 상기 기준 영상을 제외한 나머지 2차원 영상들을 상기 기준 영상의 형상에 대응되도록 변형시키는 단계; 상기 변형된 영상 각각에 따른 2차원 영상 특징점들을 추출하고, 상기 추출된 2차원 영상 특징점들을 이용하여 3차원 영상들을 복원하는 단계; 및 상기 복원된 3차원 영상들을 이용하여 3차원 영상 모델을 생성하는 단계를 포함한다. 본 발명에 따르면, 3차원 영상 모델을 생성하는데 소요되는 프로세싱 속도와 정확성을 향상시킬 수 있고, 영상 인식을 하고자 하는 2차원 입력 영상을 3차원 영상으로 복원하지 않고도 포즈와 조명에 강한 영상 인식이 가능하다. 3차원 영상 모델, 얼굴 인식, 얼굴 특징점, 3차원 영상 복원
청구항
번호청구항
1

a) 3차원 스캔 영상 각각에 따른 3차원 영상 특징점들을 선택하는 단계; b) 상기 3차원 스캔 영상 각각을 2차원 공간에 투영시키는 단계; c) 상기 투영된 2차원 영상들 중에서 하나의 영상을 기준 영상으로 결정하고, 상기 기준 영상을 제외한 나머지 2차원 영상들을 상기 기준 영상의 형상에 대응되도록 변형시키는 단계; d) 상기 변형된 영상 각각에 따른 2차원 영상 특징점들을 추출하고, 상기 추출된 2차원 영상 특징점들을 이용하여 3차원 영상들을 복원하는 단계; 및 e) 상기 복원된 3차원 영상들을 이용하여 3차원 영상 모델을 생성하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 모델 생성 방법.

2

제 1 항에 있어서, 상기 c)단계는, c1) 상기 투영된 2차원 영상들 중에서 하나의 영상을 기준 영상으로 결정하는 단계; 및 c2) 기준 영상을 제외한 나머지 영상들의 특징점 위치와 상기 기준 영상의 특징점들의 위치가 서로 대응되도록 어파인 변환을 수행하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 모델 생성 방법.

3

제 2 항에 있어서, 상기 c)단계는, 상기 c1)단계에서 결정된 기준 영상의 특징점들 중에서 외곽에 위치한 특징점들에 따른 마스크 영역을 결정하는 단계를 더 포함하고, 상기 c2) 단계의 어파인 변환은 상기 마스크 영역의 내에서 수행하는 것을 특징으로 하는 3차원 영상 모델 생성 방법.

4

제 3 항에 있어서, 상기 d)단계는 d1) 상기 마스크 영역 내에 포함된 각각의 좌표에 따른 점들을 2차원 영상 특징점들로서 추출하는 단계; d2) 상기 추출된 2차원 영상 특징점들에 따른 삼각형 메쉬들을 생성하는 단계; d3) 상기 d2)단계에서 생성된 삼각형 메쉬들에 대한 역어파인 변환을 수행하여 2차원 실린더 공간상에 투영된 영상들을 생성하는 단계; 및 d4) 상기 d3)단계에서 생성된 2차원 실린더 공간상에 투영된 영상 각각에 대한 역투영을 수행하여 3차원 영상들을 복원하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 모델 생성 방법.

5

제 1 항에 있어서, 상기 b) 단계는 b1) 상기 선택된 특징점들에 따른 삼각형 메쉬들을 생성하는 단계; 및 b2) 상기 삼각형 메쉬들이 생성된 3차원 스캔 영상 각각을 2차원 실린더 공간에 투영시키는 단계를 포함하는 것을 특징으로 하는 3차원 영상 모델 생성 방법.

6

제 1 항에 있어서, 상기 e) 단계에서 3차원 영상 모델은 상기 복원된 3차원 영상들에 대한 주성분 분석(PCA)을 이용하여 생성하는 것을 특징으로 하는 3차원 영상 모델 생성 방법.

7

제 1 항에 있어서, 상기 3차원 영상 모델은 3차원 형상 모델과 3차원 텍스쳐 모델을 포함하고, 상기 3차원 형상 모델은 상기 복원된 3차원 영상 각각에 따른 3차원 특징점의 좌표 정보에 대한 주성분 분석을 통해 생성되는 3차원 좌표 평균 및 분산 벡터에 따른 모델이고, 상기 3차원 텍스쳐 모델은 상기 복원된 3차원 영상 각각에 따른 3차원 특징점의 색 정보에 대한 주성분 분석을 통해 생성되는 3차원 색 정보 평균 및 분산 벡터에 따른 모델인 것을 특징으로 하는 3차원 영상 모델 생성 방법.

8

제 1 항에 있어서, 상기 e)단계는 e1) 상기 복원된 3차원 영상 각각에 따른 특징점들의 3차원 좌표 정보와 색 정보를 획득하는 단계; 및 e2) 상기 획득된 위치 정보와 색 정보를 이용하여 임의의 3차원 영상을 합성하기 위한 3차원 영상 모델을 생성하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 모델 생성 방법.

9

제 1 항 내지 제 8 항 중 어느 한 항의 3차원 영상 모델 생성 방법을 컴퓨터 상에서 수행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.

10

3차원 스캔 영상 각각에 따른 3차원 영상 특징점들을 선택하는 3차원 영상 특징점 선택부; 상기 3차원 스캔 영상 각각을 2차원 공간에 투영시키는 2차원 공간 투영부; 상기 투영된 2차원 영상들 중에서 하나의 영상을 기준 영상으로 결정하고, 상기 기준 영상을 제외한 나머지 2차원 영상들을 상기 기준 영상의 형상에 대응되도록 변형시키는 영상 변형부; 상기 변형된 영상 각각에 따른 2차원 영상 특징점들을 추출하고, 상기 추출된 2차원 영상 특징점들을 이용하여 3차원 영상들을 복원하는 3차원 영상 복원부; 및 상기 복원된 3차원 영상들을 이용하여 3차원 영상 모델을 생성하는 모델 생성부를 포함하는 것을 특징으로 하는 3차원 영상 모델 생성 장치.

11

제 10 항에 있어서, 상기 영상 변형부는, 상기 투영된 2차원 영상들 중에서 하나의 영상을 기준 영상으로 결정하는 기준 영상 결정부; 상기 기준 영상의 특징점들 중에서 외곽에 위치한 특징점들에 따른 마스크 영역을 결정하는 마스크 영역 결정부; 및 상기 기준 영상을 제외한 나머지 영상들의 특징점 위치와 상기 기준 영상의 특징점들의 위치가 서로 대응되도록 어파인 변환을 수행하는 어파인 변환부를 포함하는 것을 특징으로 하는 3차원 영상 모델 생성 장치.

12

제 10 항에 있어서, 상기 3차원 영상 특징점 선택부는 상기 선택된 특징점들에 따른 삼각형 메쉬들을 생성하는 메쉬 생성부를 더 포함하고, 상기 2차원 공간 투영부는 상기 삼각형 메쉬들이 생성된 3차원 스캔 영상 각각을 2차원 실린더 공간에 투영시키는 투영부를 포함하는 것을 특징으로 하는 3차원 영상 모델 생성 장치.

13

a) 3차원 스캔 영상 각각에 따른 3차원 영상 특징점들을 선택하고, 상기 3차원 스캔 영상 각각을 2차원 공간에 투영시키는 단계; b) 상기 투영된 2차원 영상들 중에서 하나의 영상을 기준 영상으로 결정하고, 상기 기준 영상을 제외한 나머지 2차원 영상들을 상기 기준 영상의 형상에 대응되도록 변형시키는 단계; c) 상기 변형된 영상 각각에 따른 2차원 영상 특징점들을 추출하고, 상기 추출된 2차원 영상 특징점들을 이용하여 3차원 영상을 각각 복원하는 단계; d) 상기 복원된 3차원 영상들을 이용하여 3차원 영상 모델을 생성하는 단계; e) 2차원 트레이닝 영상들을 입력 받고, 상기 3차원 영상 모델을 이용하여 상기 트레이닝 영상으로부터 예측되는 3차원 합성 영상을 각각 생성하는 단계; f) 상기 생성된 3차원 합성 영상들로부터 각각의 트레이닝 영상에 따른 특징 벡터를 추출하는 단계; 및 g) 인식하고자 하는 입력 영상에 대한 2차원 영상을 입력 받고, 입력된 2차원 영상으로부터 특징 벡터를 추출한 후 상기 입력 영상에 따른 특징 벡터와 상기 트레이닝 영상에 따른 특징 벡터들 간의 유사성을 이용하여 입력된 영상에 대한 인식 결과를 산출하는 단계를 포함하는 것을 특징으로 하는 영상 인식 방법.

14

제 13 항에 있어서, 상기 a)단계에서 투영된 2차원 영상들을 이용하여, 영상을 이루는 주요 요소에 대한 식별 정보를 획득하는 단계를 더 포함하고, 상기 f)단계는 f1) 상기 e)단계에서 생성된 3차원 합성 영상들을 포즈 또는 조명을 조절하여 각각 2차원 공간에 투영시키고, 상기 주요 요소에 대한 식별 정보를 이용하여 상기 2차원 공간에 투영된 영상들로부터 상기 주요 요소와 관련된 서브 영상들을 추출하는 단계; 및 f2) 상기 추출된 서브 영상들을 정규화하고, 상기 정규화된 서브 영상들로부터 특징 벡터들을 추출하는 단계를 포함하는 것을 특징으로 하는 영상 인식 방법.

15

제 14 항에 있어서, 상기 식별 정보를 획득하는 것은, 상기 투영된 2차원 영상 각각을 주요 요소에 따라 구분하고, 상기 구분된 주요 요소에 포함된 특징점들 중 외곽에 위치한 특징점들로 이루어진 경계 영역 내에 있는 픽셀들로 정의되는 특징점 순서값을 주요 요소에 대한 식별 정보로 획득하는 것을 특징으로 하는 영상 인식 방법.

16

제 14 항에 있어서, 상기 특징 벡터는 상기 정규화된 서브 영상들의 인텐서티 성분과 에지 성분을 포함하는 것을 특징으로 하는 영상 인식 방법.

17

제 14 항에 있어서, 상기 e)단계에서 생성된 3차원 합성 영상들에 대하여 소정의 회전 이동과 위치 이동을 적용함으로써, 변형된 3차원 영상들을 생성하는 단계를 더 포함하고, 상기 f1)단계는 상기 변형된 3차원 영상들을 각각 2차원 공간에 투영시키고, 상기 주요 요소에 대한 식별 정보를 이용하여 상기 2차원 공간에 투영된 영상들로 부터 상기 주요 요소와 관련된 서브 영상들을 추출하는 단계를 더 포함하며, 상기 f2)단계에서 추출된 특징 벡터는 신경망 학습을 위한 학습 벡터이고, 상기 g)단계에서 상기 입력 영상에 따른 특징 벡터와 상기 트레이닝 영상에 따른 특징 벡터들 간의 유사성을 이용하여 입력된 영상에 대한 인식 결과를 산출하는 것은 상기 신경망 학습을 위한 학습 벡터와 상기 입력 영상에 따른 특징 벡터들 간의 유사성을 이용하는 것을 특징으로 하는 영상 인식 방법.

18

제 13 항에 있어서, 상기 e)단계는 e1) 2차원 트레이닝 영상들을 입력 받는 단계; e2) 상기 트레이닝 영상 각각에 대하여 상기 3차원 영상 모델을 초기화하는 단계; e3) 상기 트레이닝 영상과 매치되는 3차원 영상 모델의 변수를 각각 결정하는 단계; 및 e4) 상기 결정된 변수에 따라 예측되는 3차원 합성 영상을 각각 생성하는 단계를 포함하는 것을 특징으로 하는 영상 인식 방법.

19

제 13 항 내지 제 18 항 중 어느 한 항의 영상 인식 방법을 컴퓨터 상에서 수행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.

20

3차원 스캔 영상 각각에 따른 3차원 영상 특징점들을 선택하는 3차원 영상 특징점 선택부; 상기 3차원 스캔 영상 각각을 2차원 공간에 투영시키는 2차원 공간 투영부; 상기 투영된 2차원 영상들 중에서 하나의 영상을 기준 영상으로 결정하고, 상기 기준 영상을 제외한 나머지 2차원 영상들을 상기 기준 영상의 형상에 대응되도록 변형시키는 영상 변형부; 상기 변형된 영상 각각에 따른 2차원 영상 특징점들을 추출하고, 상기 추출된 2차원 영상 특징점들을 이용하여 3차원 영상을 각각 복원하는 3차원 영상 복원부; 상기 복원된 3차원 영상들을 이용하여 3차원 영상 모델을 생성하는 모델 생성부; 2차원 트레이닝 영상들을 입력 받고, 상기 3차원 영상 모델을 이용하여 상기 트레이닝 영상으로부터 예측되는 3차원 합성 영상을 각각 생성하는 3차원 영상 생성부; 상기 생성된 3차원 합성 영상들로부터 각각의 트레이닝 영상에 따른 특징 벡터를 추출하는 특징 벡터 추출부; 인식하고자 하는 입력 영상에 대한 2차원 영상을 입력 받는 영상 입력부; 및 상기 입력 영상에 대한 특징 벡터를 추출한 후 상기 입력 영상에 따른 특징 벡터와 상기 트레이닝 영상에 따른 특징 벡터들 간의 유사성을 이용하여 입력된 영상에 대한 인식 결과를 산출하는 영상 판단부를 포함하는 것을 특징으로 하는 영상 인식 장치.

21

제 20 항에 있어서, 상기 투영된 2차원 영상들을 이용하여, 영상을 이루는 주요 요소에 대한 식별 정보를 획득하는 식별 정보 획득부를 더욱 구비하고, 상기 특징 벡터 추출부는 트레이닝 영상 각각에 대하여 다양한 포즈와 조명을 조절하는 영상 조절부; 상기 3차원 합성 영상을 2차원 실린더 공간에 투영하는 투영부; 및 상기 투영된 영상으로부터 영상 인식을 위한 특징 벡터를 생성하는 벡터 생성부를 포함하는 것을 특징으로 하는 영상 인식 장치.