증강현실을 위한 3D포인트와 메쉬모델 정합기반 정밀 휴먼자세 추정장치에 있어서, 포인트 클라우드 데이터를 수집하여 인체의 영상을 3D메쉬로 출력하는 출력부;상기 출력부를 통하여 출력된 포인트 클라우드를 전처리(Pre-processing)하는 전처리부; 상기 전처리부를 통한 전처리된 포인트 클라우드를 기반으로 하여 사전에 딥러닝을 시킨 훈련모델과, SMPL(Skinned Multi-Person Linear) 파라미터를 이용하여 3D 영상 모델로 생성하는 SMPL 모델이 내장된 인식 모듈;상기 전처리부를 통하여 상기 포인트 클라우드를 제공받고, 상기 인식모듈로부터 SMPL을 이용한 인체 이미지의 각 신체 부위를 감지하고, 감지된 상기 신체 부위 간의 흐름에 관한 상기 신체 부위 관계성을 인코딩하며, 매칭을 통해 형태 및 관절을 완성하여, 상기 사용자의 포즈를 실시간 추정하여 상기 사용자 포즈의 데이터를 생성하며, 상기 생성된 데이터를 합성 이미지화하여 합성 이미지 영상을 송출하는 투사 이미지 생성부로 이루어지는 데이터 생성 모듈; 및상기 데이터 생성 모듈로부터 생성된 포즈, 형태, 관절을 실시간 추정하여, 사용자 데이터로 관리하는 통합 데이터 관리 장치;를 포함하는 것을 특징으로 하는 증강현실을 위한 3D 포인트와 메쉬모델 정합기반 정밀 휴먼자세 추정장치.

제1항에 있어서, 상기 전처리부는 정확한 자세를 얻도록 하기 위하여, 축 부재를 사용하는 것을 특징으로 하는 증강현실을 위한 3D포인트와 메쉬모델 정합기반 정밀 휴먼자세 추정장치.

제1항에 있어서, 상기 훈련모델의 딥러닝 학습을 통하여 인체의 관절, 자세, 형태를 사전에 예측하는 것을 특징으로 하는 증강현실을 위한 3D포인트와 메쉬모델 정합기반 정밀 휴먼자세 추정장치.

제1항에 있어서, 상기 SMPL은 Shape 파라미터와 Pose 파라미터로 이루어진 것을 특징으로 하는 증강현실을 위한 3D포인트와 메쉬모델 정합기반 정밀 휴먼자세 추정장치.

제1항에 있어서, 상기 딥러닝의 훈련모델은 상기 포인트 클라우드의 각 정점에 대하여 별도의 GMM(Gaussian Mixture Model)을 사용한 것을 특징으로 하는 증강현실을 위한 3D포인트와 메쉬모델 정합기반 정밀 휴먼자세 추정장치.

제1항에 있어서, 상기 전처리부는 상기 포인트 클라우드의 위치와 축을 설정하기 위하여 메쉬 랩(Mesh Lab)을 사용한 것을 특징으로 하는 증강현실을 위한 3D포인트와 메쉬모델 정합기반 정밀 휴먼자세 추정장치.

제1항에 있어서, 상기 출력부는 RGB-D 카메라로부터 제공되는 실내 공간의 RGB-D 영상 데이터를 입력 받는 영상입력부;와 상기 영상 입력부로부터 입력받은 포인트 클라우드 정보를 3D 메쉬 정보로 변환하여 저장하는 메쉬 생성부;를 포함하는 것을 특징으로 하는 증강현실을 위한 3D포인트와 메쉬모델 정합기반 정밀 휴먼자세 추정장치.

증강현실을 위한 3D포인트와 메쉬모델 정합기반 정밀 휴먼자세 추정방법에 있어서,사용자를 촬영한 영상 데이터로부터 포인트 클라우드를 획득하는 단계; 상기 생성된 포인트 클라우드를 정확한 자세를 얻도록 하기 위하여 전처리하는 단계; 사용자의 자세를 추정하기 위한 모델을 사전에 딥러닝 훈련하는 단계; 상기 포인트 클라우드를 3D 메쉬로 변환하고, 상기 3D 메쉬로부터 관절, 자세, 모양을 출력하는 단계; 상기 단계에서 입력된 포인트 클라우드를 위치를 정렬하고 영상을 회전시켜, 위치 및 회전 각도를 일정하게 정렬하는 정렬 단계;상기 단계에서 회전 및 정렬된 이미지를 투사(projection)하는 단계를 포함하는 것을 특징으로 하는 정밀 휴먼자세 추정방법.

제8항에 있어서, 상기 딥러닝 훈련을 하는 단계에서 인체의 뼈대 추출을 위한 모델을 생성하는 것을 특징으로 하는 정밀 휴먼자세 추정방법.

제8항에 있어서, 상기 모델의 딥러닝 학습을 통하여, 인체의 관절, 자세, 형태를 사전에 예측하는 것을 특징으로 하는 정밀 휴먼자세 추정방법.

제8항에 있어서, 상기 모델은 SMPL(Skinned Multi-Person Linear Model) 파라미터를 이용하여 생성한 3D 영상인 것을 특징으로 하는 정밀 휴먼자세 추정방법.

제8항에 있어서, 상기 전처리하는 방법은 메쉬 랩(Mesh Lab)을 사용하여 임의의 포인트 클라우드의 위치와 축을 설정하는 것을 특징으로 하는 정밀 휴먼자세 추정방법.

제8항에 있어서, 상기 전처리하는 단계는 상기 모델의 골격을 추출할 수 있도록 원하지 않는 바닥 제거를 위하여, RANSAC 방법을 실행하는 단계와 축 설정을 하는 단계를 포함하는 것을 특징으로 하는 정밀 휴먼자세 추정방법.

제8항에 있어서, 상기 모델의 학습 시 가우시안(Gaussian) 노이즈를 추가하는 것을 특징으로 하는 정밀 휴먼자세 추정방법.

비일시적 컴퓨터 판독 가능한 저장 매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금, 사용자를 촬영한 영상 데이터로부터 포인트 클라우드를 획득하는 단계; 상기 생성된 포인트 클라우드를 정확한 자세를 얻도록 하기 위하여 전처리하는 단계; 사용자의 자세를 추정하기 위한 모델을 사전에 딥러닝 훈련하는 단계; 상기 포인트 클라우드를 3D 메쉬로 변환하고, 상기 3D 메쉬로부터 관절, 자세, 모양을 출력하는 단계; 상기 단계에서 입력된 포인트 클라우드를 위치를 정렬하고 영상을 회전시켜, 위치 및 회전 각도를 일정하게 정렬하는 정렬 단계;상기 단계에서 회전 및 정렬된 이미지를 투사(projection)하는 단계를 수행하도록 하는, 비일시적 컴퓨터 판독 가능한 저장 매체에 저장된 컴퓨터 프로그램.