프로세서에 의해 동작하는 행동 인식 장치가 수행하는 방법에 있어서,분석 대상이 될 타겟 영상을 획득하는 동작; 상기 타겟 영상에서 사람 객체를 포함하는 경계 상자를 추출하는 동작; 상기 경계 상자 내 사람 객체의 자세에 대한 클래스 정보를 판별하는 제1 분류 모델을 기초로 상기 사람 객체에 대한 제1 특징 벡터를 추출하는 동작; 상기 경계 상자 내 사람 객체에 대한 표면 정보를 생성하는 메시 생성 모델을 기초로 상기 사람 객체에 대한 표면 정보를 특정하는 제2 특징 벡터를 추출하는 동작; 상기 제1 특징 벡터 및 제2 특징 벡터를 결합한 임베딩 벡터를 생성하는 동작; 및 사람 객체의 자세 정보와 표면 정보로부터 사람 객체가 취하는 행동을 판별하는 제2 분류 모델에 상기 임베딩 벡터를 입력하여 상기 사람 객체의 행동을 판별하는 동작을 포함하는,방법.

제1항에 있어서, 상기 제2 특징 벡터를 추출하는 동작은 메시 생성 모델 중 ROMP 모델을 이용하여 상기 사람 객체가 차지하는 영역의 3차원 메시 정보를 복원하는 동작을 포함하는, 방법.

제2항에 있어서,상기 메시 정보는 상기 사람 객체가 차지하는 영역에 대한 3차원 정보를 나타내는 복수의 정점 및 간선으로 구성된, 방법.

제3항에 있어서,상기 제2 특징 벡터를 추출하는 동작은 상기 복수의 정점 중 각 정점의 평균 곡률을 계산하는 동작; 및 상기 각 정점의 평균 곡률에 대한 정보를 벡터화한 제2 특징 벡터를 생성하는 동작을 포함하는, 방법.

제4항에 있어서,상기 평균 곡률을 계산하는 동작은 상기 복수의 정점 중 어느 하나인 제1 정점과, 상기 제1 정점의 1-링 주변부(1-ring neighborhood)에 해당하는 각 정점 간의 곡률값을 계산하는 동작; 및상기 곡률값 중 최대 곡률과 최소 곡률의 평균을 상기 제1 정점의 평균 곡률로 계산하는 동작을 포함하는, 방법.

제1항에 있어서,상기 임베딩 벡터를 생성하는 동작은 Concatenation, Addition, Averaging, Gate network 중 적어도 하나의 기법을 기초로 상기 제1 특징 벡터 및 제2 특징 벡터를 결합하여 임베딩 벡터를 생성하는 동작을 포함하는, 방법.

제1항에 있어서,상기 제2 분류 모델은 시계열 데이터를 처리하는 LSTM 모델을 기반으로 사람 객체의 자세 정보와 표면 정보로부터 구성된 임베딩 벡터와 사람 객체의 행동을 특정하는 정답 클래스 간의 상관 관계에 대한 파라미터를 학습하도록 지도 학습된, 방법.

제7항에 있어서,상기 제2 분류 모델은상기 타겟 영상 중의 복수의 프레임 각각으로부터 추출된 제1 특징 벡터와 제2 특징 벡터의 결합으로 생성된 복수의 임베딩 벡터를 입력받아 상기 타겟 영상에 포함된 사람 객체의 행동을 판별하는, 방법.

제8항에 있어서,상기 복수의 프레임은 상기 타겟 영상의 프레임 중 시계열적인 순서에 따라 추출된 일련의 프레임을 포함하고, 상기 제2 분류 모델은 상기 복수의 임베딩 벡터를 각 임베딩 벡터의 프레임의 시계열적 순서에 따라 입력 받아, 상기 복수의 임베딩 벡터의 시계열적 순서를 반영하여 타겟 영상에 포함된 사람 객체의 행동을 판별하는 것이 특징인, 방법.

명령어를 포함하는 메모리; 및상기 명령어를 기초로 소정의 동작을 수행하는 프로세서를 포함하고, 상기 프로세서의 동작은,분석 대상이 될 타겟 영상을 획득하는 동작; 상기 타겟 영상에서 사람 객체를 포함하는 경계 상자를 추출하는 동작; 상기 경계 상자 내 사람 객체의 자세에 대한 클래스 정보를 판별하는 제1 분류 모델을 기초로 상기 사람 객체에 대한 제1 특징 벡터를 추출하는 동작; 상기 경계 상자 내 사람 객체에 대한 표면 정보를 생성하는 메시 생성 모델을 기초로 상기 사람 객체에 대한 표면 정보를 특정하는 제2 특징 벡터를 추출하는 동작; 상기 제1 특징 벡터 및 제2 특징 벡터를 결합한 임베딩 벡터를 생성하는 동작; 및 사람 객체의 자세 정보와 표면 정보로부터 사람 객체가 취하는 행동을 판별하는 제2 분류 모델에 상기 임베딩 벡터를 입력하여 상기 사람 객체의 행동을 판별하는 동작을 포함하는,행동 인식 장치.