전자 장치의 적어도 하나의 프로세서가,로봇 장치와 연결된 카메라를 통하여 대상자의 이미지를 획득하기 위한 이미지 획득부;획득된 상기 이미지로부터 인체골격 정보를 생성하는 인체골격 정보 생성부;생성된 인체골격 주요 관절의 2차원 픽셀좌표와 정면 또는 측면에서 봤을 때의 휴먼 모델 내 해당 관절의 2차원 좌표간 거리 오차가 최소화되도록 카메라의 촬영각도와 카메라와 대상자의 거리 값, 전신 관절의 각도를 탐색하는 최적화 알고리즘을 실행하는 최적화부;추정된 관절각 정보에 기초하여 상기 휴먼 모델 자세 시뮬레이션을 실행함으로써 상기 대상자의 자세 또는 모션 타입과 상태를 식별하는 식별부;를 포함하는 것을 특징으로 하는 대상자의 3차원 전신 자세를 식별하기 위한 장치.

대상자의 자세 또는 모션 타입과 상태를 식별하기 위한 전자 장치는,네트워크 인터페이스;하나 이상의 인스트럭션을 저장하는 메모리; 및적어도 하나의 프로세서; 를 포함하는 로봇 장치이고,상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,상기 로봇 장치와 연결된 카메라를 통하여 상기 대상자를 촬영함으로써 이미지를 획득하고,상기 생성된 인체골격 주요 관절의 2차원 픽셀좌표와, 정면 또는 측면에서 봤을 때의 휴먼 모델 내 해당 관절의 2차원 좌표간 거리 오차가 최소화되도록 카메라의 촬영각도와 카메라와 대상자의 거리 값, 해당 관절의 각도를 탐색하는 최적화 알고리즘을 실행하고,상기 추정된 관절각 정보에 기초하여 상기 로봇 자세로부터 관절각의 각도를 분석함으로써 상기 대상자의 자세 또는 모션 타입과 상태를 식별하는 것을 특징으로 하는 대상자의 3차원 전신 자세를 식별하기 위한 장치.

제 1 항 또는 제 2 항에 있어서, 상기 적어도 하나의 프로세서는,상기 획득된 이미지를 신경망 모델에 입력함으로써 상기 신경망 모델로부터 인체골격 정보를 획득하고,상기 인체골격 정보는 상기 이미지 내 대상자의 관절의 좌표 정보 및 상기 관절 사이를 연결하는 링크의 길이 정보를 포함하는 것을 특징으로 하는 대상자의 3차원 전신 자세를 식별하기 위한 장치.

제 1 항 또는 제 2 항에 있어서, 휴먼 모델을 생성하기 위하여,인체의 골격 구조에 기초하여 배치되는 기 설정된 수의 관절 및 상기 관절 사이를 연결하는 링크를 포함하는 관절-링크 모델에 대하여 DH 변환행렬을 적용함으로써 왼쪽 고관절을 기준으로 하는 기준 좌표계에 따른 링크 좌표계를 생성하고,상기 링크 좌표계에 좌표계 변환행렬을 추가적으로 적용함으로써 신체 중심점에 위치한 휴먼 좌표계를 생성하는 것을 특징으로 하는 대상자의 3차원 전신 자세를 식별하기 위한 장치.

제 1 항 또는 제 2 항에 있어서, 전자 장치는,이미지를 신경망 모델에 입력함으로써 인체골격 정보를 획득하고, 획득된 인체골격 정보에 기초하여, 대상자에 대한 카메라 촬영 각도, 관절 각도, 관절을 연결하는 링크의 길이에 대한 정보를 식별하고,획득된 인체골격 정보에 기초하여 최적화 알고리즘으로 휴먼 모델의 관절 변수를 조정하여 최대한 근사화하고, 이를 토대로 대상자의 자세를 이루는 상지와 하지의 관절의 각도를 추정하여 자세 정보를 결정하는 것을 특징으로 하는 대상자의 3차원 전신 자세를 식별하기 위한 장치.

제 1 항 또는 제 2 항에 있어서, 전자 장치는,대상자의 자세 또는 모션 타입과 상태를 식별하기 위하여 외부 서버와 연동하는 것을 특징으로 하는 대상자의 3차원 전신 자세를 식별하기 위한 장치.

제 1 항 또는 제 2 항에 있어서, 전자 장치는,인체를 앞이나 뒤에서 볼 때의 2차원 단면인 관상면,신체를 왼쪽이나 오른쪽에서 볼 때의 2차원 단면인 시상면,신체를 위 또는 아래에서 볼 때의 2차원 단면인 횡평면의 인체의 3가지 평면에 대한 관절 정보 내지 링크 정보들을 결정하는 것을 특징으로 하는 대상자의 3차원 전신 자세를 식별하기 위한 장치.

전자 장치와 연결된 카메라를 통하여 대상자를 촬영함으로써 영상을 획득하는 단계;획득된 상기 이미지로부터 인체골격 정보를 생성하는 단계;상기 생성된 인체골격 주요 관절의 2차원 픽셀좌표와 정면 또는 측면에서 봤을 때의 휴먼 모델 내 해당 관절의 2차원 좌표 간 거리 오차가 최소화되도록 카메라의 촬영각도와 카메라와 대상자의 거리 관련 값, 해당 관절의 각도를 탐색하는 최적화 알고리즘 실행 단계; 및 상기 추정된 관절각 정보에 기초하여 로봇 자세 시뮬레이션을 실행함으로써 상기 대상자의 자세/모션 타입과 상태를 식별하는 단계;를 포함하는 것을 특징으로 하는 대상자의 3차원 전신 자세를 식별하기 위한 방법.

제 8 항에 있어서, 휴먼 모델을 생성하기 위하여,인체의 골격 구조에 기초하여 배치되는 기 설정된 수의 관절 및 상기 관절 사이를 연결하는 링크를 포함하는 관절-링크 모델에 대하여 DH 변환행렬을 적용함으로써 왼쪽 고관절을 기준으로 하는 기준 좌표계에 따른 링크 좌표계를 생성하고,상기 링크 좌표계에 좌표계 변환행렬을 추가적으로 적용함으로써 신체 중심점에 위치한 휴먼 좌표계를 생성하는 것을 특징으로 하는 대상자의 3차원 전신 자세를 식별하기 위한 방법.

제 8 항에 있어서, 전자 장치는,이미지를 신경망 모델에 입력함으로써 인체골격 정보를 획득하고, 획득된 인체골격 정보에 기초하여, 대상자에 대한 카메라 촬영 각도, 관절 각도, 관절을 연결하는 링크의 길이에 대한 정보를 식별하고,획득된 인체골격 정보에 기초하여 최적화 알고리즘으로 휴먼 모델의 관절 변수를 조정하여 최대한 근사화하고, 이를 토대로 대상자의 자세를 이루는 상지와 하지의 관절의 각도를 추정하여 자세 정보를 결정하는 것을 특징으로 하는 대상자의 3차원 전신 자세를 식별하기 위한 방법.

제 8 항에 있어서, 전자 장치는,인체를 앞이나 뒤에서 볼 때의 2차원 단면인 관상면,신체를 왼쪽이나 오른쪽에서 볼 때의 2차원 단면인 시상면,신체를 위 또는 아래에서 볼 때의 2차원 단면인 횡평면의 인체의 3가지 평면에 대한 관절 정보 내지 링크 정보들을 결정하는 것을 특징으로 하는 대상자의 3차원 전신 자세를 식별하기 위한 방법.

제 8 항에 있어서, 휴먼 모델의 하체는 2개의 발바닥면과 6개의 좌우대칭 링크()와 골반 링크()로 구성되고, 관절면에서는 6개의 시상면 관절(), 4개의 관상면 관절(), 2개의 횡평면 관절()로 구성되는 것을 특징으로 하는 대상자의 3차원 전신 자세를 식별하기 위한 방법.

제 8 항에 있어서, 휴먼 모델의 상체는 4개의 좌우대칭 링크()와 허리 링크(), 어깨 링크(), 몸통 링크(), 목 링크(), 머리()로 구성되어 있으며, 관절면에서는 6개의 시상면 관절(), 3개의 관상면 관절(), 4개의 횡평면(transversal plane) 관절()로 구성되고,요추 부위에는 의 세 관절이 있어서 상체의 동작을 3자유도로 모두 표현하는 것을 특징으로 하는 대상자의 3차원 전신 자세를 식별하기 위한 방법.

제 13 항에 있어서, 인간의 3자유도 상체 움직임을 완전하게 표현하기 위해 상체의 시상면 관절각 , 관상면 관절각 , 횡평면 관절각 의 좌표계 회전변환이 발생하고,세 각도의 양의 방향은 Vicon의 정의를 따라 앞으로 숙일 때(Forward tilt) , 왼쪽으로 기울어질 때(Left tilt) , 왼쪽으로 회전할 때(Left rotation) 으로 정의되는 것을 특징으로 하는 대상자의 3차원 전신 자세를 식별하기 위한 방법.

제 8항 내지 제14항 중 어느 하나의 항에 따른 대상자의 3차원 전신 자세를 식별하기 위한 방법을 수행하기 위한 프로그램이 저장되는 것을 특징으로 하는 대상자의 3차원 전신 자세를 식별하기 위한 프로그램 기록 매체.