제1항에 있어서,상기 제1 분류 모델은, 다중 출력 분류 네트워크를 사용하여 복수의 클래스를 판별하도록 상기 제1 특징 벡터를 생성하는 것이 특징인, 방법.

프로세서에 의해 동작하는 행동 인식 장치가 수행하는 방법에 있어서,타겟 영상에서 사람 객체를 포함하는 제1 바운딩 박스를 추출하는 동작;상기 제1 바운딩 박스 내의 사람 객체의 자세에 대한 클래스 정보를 판별하는 제1 분류 모델을 사용하여 상기 제1 바운딩 박스에 대한 제1 특징 벡터를 추출하는 동작;상기 타겟 영상 내의 사물 객체 중 상기 사람 객체와 상호작용하는 사물 객체를 포함하는 제2 바운딩 박스를 추출하는 동작; 상기 제2 바운딩 박스 내의 사물 객체에 대한 클래스 정보를 판별하는 제2 분류 모델을 사용하여 상기 제2 바운딩 박스에 대한 제2 특징 벡터를 추출하는 동작;상기 제1 특징 벡터 및 제2 특징 벡터를 기초로 임베딩 벡터를 생성하는 동작; 및사람과 사물 간의 상호작용에 따른 행동을 판별하는 제3 분류 모델에 상기 임베딩 벡터를 입력하여 상기 타겟 영상에 포함된 사람의 행동을 인식하는 동작을 포함하는, 방법.

제1항에 있어서,상기 제2 바운딩 박스를 추출하는 동작은 상기 제1 바운딩 박스와 사물 객체를 포함하는 바운딩 박스 간의 근접성을 기반으로 사람 객체와 사물 객체 간의 상호작용을 판별하는 동작을 포함하는,방법.

제2항에 있어서,상기 제2 바운딩 박스를 추출하는 동작은 사람 객체와 사물 객체의 바운딩 박스 중심점 간의 유클리드 거리를 계산하는 동작; 및상기 유클리드 거리가 기 설정된 임계값 이하인 사물 객체가 존재하는 경우, 상기 기 설정된 임계값 이하인 사물 객체를 포함하는 바운딩 박스를 상기 제2 바운딩 박스로 추출하는 동작을 포함하는, 방법.

제3항에 있어서,상기 유클리드 거리의 기 설정된 임계값은 0.05로 설정되는 것이 특징인,방법.

제1항에 있어서,상기 제2 바운딩 박스를 추출하는 동작은 상기 제1 바운딩 박스의 면적과 사물 객체를 포함하는 바운딩 박스의 면적 간의 합집합 면적에 대한 교집합 면적의 비율(Intersection over Union)을 기반으로 사람 객체와 사물 객체 간의 상호작용을 판별하는 동작을 포함하는, 방법.

제5항에 있어서,상기 제2 바운딩 박스를 추출하는 동작은 상기 합집합 면적에 대한 교집합 면적의 비율이 기 설정된 임계값 이상인 사물 객체가 존재하는 경우, 상기 기 설정된 임계값 이상인 사물 객체를 포함하는 바운딩 박스를 상기 제2 바운딩 박스로 추출하는 동작을 포함하는, 방법.

제6항에 있어서,상기 합집합 면적에 대한 교집합 면적의 비율에 대한 기 설정된 임계값은 0.1로 설정되는 것이 특징인방법.

제1항에 있어서,상기 제2 바운딩 박스를 추출하는 동작은 상기 제1 바운딩 박스의 면적에 대한 사물 객체를 포함하는 바운딩 박스의 면적에 대한 비율이 기 설정된 값 이상이면 상기 제1 바운딩 박스의 면적과 사물 객체를 포함하는 바운딩 박스의 면적 간의 합집합 면적에 대한 교집합 면적의 비율(Intersection over Union)을 기반으로 사람 객체와 사물 객체 간의 상호작용을 판별하고;상기 제1 바운딩 박스의 면적에 대한 사물 객체를 포함하는 바운딩 박스의 면적에 대한 비율이 기 설정된 값 미만이면 상기 제1 바운딩 박스와 사물 객체를 포함하는 바운딩 박스 간의 근접성을 기반으로 사람 객체와 사물 객체 간의 상호작용을 판별하는, 방법.

명령어를 포함하는 메모리; 및상기 명령어를 기초로 소정의 동작을 수행하는 프로세서를 포함하고, 상기 프로세서의 동작은,타겟 영상에서 사람 객체에 대한 제1 바운딩 박스를 추출하는 동작;상기 제1 바운딩 박스 내의 사람 객체의 자세에 대한 클래스 정보를 판별하는 제1 분류 모델을 사용하여 상기 제1 바운딩 박스에 대한 제1 특징 벡터를 추출하는 동작;상기 타겟 영상 내의 사물 객체 중 상기 사람 객체와 상호작용하는 사물 객체를 포함하는 제2 바운딩 박스를 추출하는 동작; 상기 제2 바운딩 박스 내의 사물 객체에 대한 클래스 정보를 판별하는 제2 분류 모델을 사용하여 상기 제2 바운딩 박스에 대한 제2 특징 벡터를 추출하는 동작;상기 제1 특징 벡터 및 제2 특징 벡터를 기초로 임베딩 벡터를 생성하는 동작; 및사람과 사물 간의 상호작용에 따른 행동을 판별하는 제3 분류 모델에 상기 임베딩 벡터를 입력하여 상기 타겟 영상에 포함된 사람의 행동을 인식하는 동작을 포함하는, 행동 인식 장치.