적어도 하나의 컴퓨팅 장치에 의하여 수행되는 방법에 있어서,2D 수화 영상 데이터를 분석하여 신체 부위별 3D 자세 정보를 추출하는 단계;상기 신체 부위별 3D 자세 정보를 신체 부위에 대응되는 제1 동작 분석 모듈에 각각 입력하여 신체 부위 각각에 대응되는 복수의 제1 부분 동작 특징 벡터들을 생성하는 단계;상기 복수의 제1 부분 동작 특징 벡터들을 애그리게이팅하여 생성된 벡터를 제1 통합 동작 분석 모듈에 입력하여 제1 전체 동작 특징 벡터를 생성하는 단계; 및상기 제1 전체 동작 특징 벡터를 기초로 상기 2D 수화 영상 데이터에 대한 텍스트를 결정하는 단계를 포함하는,수화 인식 방법.

제1 항에 있어서, 상기 신체 부위별 3D 자세 정보는, 몸통, 왼손 및 오른손의 자세에 대한 정보를 포함하는,수화 인식 방법.

제1 항에 있어서,상기 신체 부위별 3D 자세 정보는,신체 부위별 회전축 정보, 회전 각도 정보 및 위치 정보를 포함하는,수화 인식 방법.

제1 항에 있어서,상기 신체 부위별 3D 자세 정보를 추출하는 단계는,상기 2D 수화 영상 데이터를 분석하여 얼굴 표정 정보를 추출하는 단계를 더 포함하는,수화 인식 방법.

제4 항에 있어서,상기 복수의 제1 부분 동작 특징 벡터들을 생성하는 단계는,상기 얼굴 표정 정보를 얼굴 표정 분석 모듈에 입력하여 얼굴 표정 특징 벡터를 생성하는 단계를 더 포함하고,상기 제1 전체 동작 특징 벡터는,상기 얼굴 표정 특징 벡터와 상기 복수의 제1 부분 동작 특징 벡터들을 애그리게이팅하여 생성된 벡터를 상기 제1 통합 동작 분석 모듈에 입력한 결과로 생성된 벡터인,수화 인식 방법.

제1 항에 있어서, 상기 2D 수화 영상 데이터는,수화 동작에 대하여 복수의 프레임으로 구성된 영상 데이터인,수화 인식 방법.

제1 항에 있어서,상기 신체 부위에 대응되는 제1 동작 분석 모듈은,제1 수화 동작에 대한 제1 신체 부위의 자세 정보를 기초로 상기 제1 신체 부위의 수화 동작을 분석하는 어텐션 기반의 모듈인, 수화 인식 방법.

제1 항에 있어서,상기 제1 통합 동작 분석 모듈은,복수의 제1 동작 분석 모듈에서 생성된 복수의 신체 부위 각각의 동작 특징 데이터를 기초로 전체 수화 동작을 통합적으로 분석하는 어텐션 기반의 모듈인,수화 인식 방법.

제1 항에 있어서,상기 제1 전체 동작 특징 벡터를 생성하는 단계와 상기 텍스트를 결정하는 단계 사이에,상기 제1 전체 동작 특징 벡터를 신체 부위에 대응되는 제2 동작 분석 모듈에 각각 입력하여 신체 부위 각각에 대응되는 복수의 제2 부분 동작 특징 벡터들을 생성하는 단계; 및상기 복수의 제2 부분 동작 특징 벡터들을 애그리게이팅하여 생성된 벡터를 제2 통합 동작 분석 모듈에 입력하여 제2 전체 동작 특징 벡터를 생성하는 단계를 더 포함하는,수화 인식 방법.

적어도 하나의 컴퓨팅 장치에 의하여 수행되는 방법에 있어서,2D 수화 영상 데이터를 분석하여 신체 부위별 3D 자세 정보를 추출하는 단계;상기 신체 부위별 3D 자세 정보를 제1 통합 동작 분석 모듈에 입력하여 제1 전체 동작 특징 벡터를 생성하는 단계;상기 제1 전체 동작 특징 벡터를 기초로 생성된 복수의 벡터들을 신체 부위에 대응되는 제1 동작 분석 모듈에 각각 입력하여 신체 부위 각각에 대응되는 복수의 제1 부분 동작 특징 벡터들을 생성하는 단계; 및상기 복수의 제1 부분 동작 특징 벡터들을 기초로 상기 2D 수화 영상 데이터에 대한 텍스트를 결정하는 단계를 포함하는, 수화 인식 방법.

제10 항에 있어서, 상기 신체 부위별 3D 자세 정보는,신체 부위별 회전축 정보, 회전 각도 정보 및 위치 정보를 포함하는,수화 인식 방법.

제10 항에 있어서,상기 신체 부위별 3D 자세 정보를 추출하는 단계는,상기 2D 수화 영상 데이터를 분석하여 얼굴 표정 정보를 추출하는 단계를 더 포함하는,수화 인식 방법.

제10 항에 있어서, 상기 제1 통합 동작 분석 모듈은,제1 수화 동작에 대한 신체 부위별 3D 자세 정보를 기초로 신체 전체에 대한 수화 동작을 분석하는 어텐션 기반의 모듈인,수화 인식 방법.

제10 항에 있어서,상기 신체 부위에 대응되는 제1 동작 분석 모듈은,상기 제1 통합 동작 분석 모듈에서 생성된 전체 동작 특징 데이터를 기초로 제1 수화 동작에 대한 제1 신체 부위의 수화 동작을 분석하는 어텐션 기반의 모듈인,수화 인식 방법.

제10 항에 있어서,상기 텍스트를 결정하는 단계 이전에,상기 복수의 제1 부분 동작 특징 벡터들을 기초로 생성된 벡터를 제2 통합 동작 분석 모듈에 입력하여 제2 전체 동작 특징 벡터를 생성하는 단계; 및상기 제2 전체 동작 특징 벡터를 기초로 생성된 복수의 벡터들을 신체 부위에 대응되는 제2 동작 분석 모듈에 각각 입력하여 신체 부위 각각에 대응되는 복수의 제2 부분 동작 특징 벡터들을 생성하는 단계를 더 포함하는,수화 인식 방법.

프로세서; 및명령어를 저장하는 메모리를 포함하고,상기 명령어는 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,2D 수화 영상 데이터를 분석하여 신체 부위별 3D 자세 정보를 추출하는 동작;상기 신체 부위별 3D 자세 정보를 신체 부위에 대응되는 제1 동작 분석 모듈에 각각 입력하여 신체 부위 각각에 대응되는 복수의 제1 부분 동작 특징 벡터들을 생성하는 동작;상기 복수의 제1 부분 동작 특징 벡터들을 애그리게이팅하여 생성된 벡터를 제1 통합 동작 분석 모듈에 입력하여 제1 전체 동작 특징 벡터를 생성하는 동작; 및상기 제1 전체 동작 특징 벡터를 기초로 상기 2D 수화 영상 데이터에 대한 텍스트를 결정하는 동작을 수행하도록 하는,수화 인식 시스템.

프로세서; 및명령어를 저장하는 메모리를 포함하고,상기 명령어는 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,2D 수화 영상 데이터를 분석하여 신체 부위별 3D 자세 정보를 추출하는 동작;상기 신체 부위별 3D 자세 정보를 제1 통합 동작 분석 모듈에 입력하여 제1 전체 동작 특징 벡터를 생성하는 동작;상기 제1 전체 동작 특징 벡터를 기초로 생성된 복수의 벡터들을 신체 부위에 대응되는 제1 동작 분석 모듈에 각각 입력하여 신체 부위 각각에 대응되는 복수의 제1 부분 동작 특징 벡터들을 생성하는 동작; 및상기 복수의 제1 부분 동작 특징 벡터들을 기초로 상기 2D 수화 영상 데이터에 대한 텍스트를 결정하는 동작을 수행하도록 하는, 수화 인식 시스템.