청구항 6에 있어서, 상기 다수의 엣지 벡터 간의 유사도는 코사인 유사도 값을 포함하는 행동 주파수 분석 기반 수어 번역 장치.

수화자의 수화에 해당하는 신체 자세를 기반으로, 상기 수화자의 행동을 추적하여 수어를 자연어로 번역하는 수어 번역부를 포함하고, 상기 수어 번역부는 상기 수화자의 수화에 따라 상기 수화자의 다양한 신체 위치에 대한 신체 자세를 나타내는 신체 각도 정보를 추출하고; 상기 수화자의 수화를 위한 움직임에 따라 시계열적으로 변화하는 신체 각도 정보를 기초로 주파수 특성을 분석하여 토큰 임베딩 프레임워크를 구성하고; 상기 신체 각도 정보를 기초로 분석되는 상기 토큰 임베딩 프레임워크를 기초로 상기 수화자의 수화를 상기 자연어로 번역하는 행동 주파수 분석 기반 수어 번역 장치.

청구항 1에 있어서, 상기 수어 번역부는 상기 수화자의 수화에 해당하는 손의 자세 및 움직임에 관련된 수동 신호, 및 상기 수화자의 얼굴 표정과 몸의 인체 자세 및 움직임에 관련된 비수동 신호로부터, 상기 수화자의 손의 움직임, 얼굴 표정 및 인체 자세를 통해 상기 수화에 해당하는 신체 각도 정보를 추출하는 행동 주파수 분석 기반 수어 번역 장치.

청구항 1에 있어서, 상기 수어 번역부는 상기 시계열적으로 변화하는 신체 각도 정보에 대해 단시간 푸리에 변환을 수행하여 상기 토큰 임베딩 프레임워크를 구성하는 행동 주파수 분석 기반 수어 번역 장치.

청구항 1에 있어서, 상기 수어 번역부는 상기 신체 자세에 해당하는 신체 각도 정보를 자연어 번역의 어근으로 정의하고, 상기 수화자의 수화에 해당하는 프레임 시퀀스 내의 연속적인 신체 각도 정보의 변화를 어간 또는 접사로 해석하도록 상기 토큰 임베딩 프레임워크를 구성하는 행동 주파수 분석 기반 수어 번역 장치.

청구항 4에 있어서, 상기 수화자의 수화 행동에 대한 수화 영상을 획득하는 영상 획득부를 더 포함하고, 상기 수어 번역부는 상기 수화 영상의 상기 프레임 시퀀스에 대해 설정된 신체 특징점들을 추출하고; 상기 신체 특징점들 중 정의된 엣지 쌍을 연결하는 엣지 벡터의 각도를 기반으로, 상기 신체 각도 정보를 생성하는 행동 주파수 분석 기반 수어 번역 장치.

청구항 5에 있어서, 상기 수어 번역부는 상기 수화자에 대해 획득되는 비디오 프레임에 대해 각각 정의된 다양한 신체 부위에 대응되는 다수의 엣지 벡터 간의 유사도들을 산출하고; 상기 다수의 엣지 벡터 간의 유사도를 벡터 성분들로 포함하는 엣지 벡터 유사도 벡터를 산출하고; 상기 수화자의 수화에 대해 획득되는 비디오 프레임에 대해 프레임 시퀀스에 따라 엣지 벡터 유사도 벡터를 산출하여 신체 각도 정보 집합을 생성하는 행동 주파수 분석 기반 수어 번역 장치.

청구항 6에 있어서, 상기 수어 번역부는 슬라이딩 윈도우 방식을 기반으로, 상기 신체 각도 정보 집합을 다수의 하위 윈도우로 구분하여 각 하위 윈도우에 해당하는 수화 토큰을 생성하고; 상기 하위 윈도우에 해당하는 수화 토큰 별로 단시간 푸리에 변환을 수행하여 토큰 임베딩을 추출하고; 단시간 푸리에 변환에 의해 추출되는 다수의 토큰 임베딩을 기초로 수어를 상기 자연어로 번역하는 행동 주파수 분석 기반 수어 번역 장치.

수어 번역부에 의해, 수화자의 수화에 해당하는 신체 자세를 기반으로, 상기 수화자의 행동을 추적하여 수어를 자연어로 번역하는 단계를 포함하고, 상기 수어를 자연어로 번역하는 단계는 상기 수화자의 수화에 따라 상기 수화자의 다양한 신체 위치에 대한 신체 자세를 나타내는 신체 각도 정보를 추출하는 단계; 상기 수화자의 수화 움직임에 따라 시계열적으로 변화하는 신체 각도 정보를 기초로 주파수 특성을 분석하여 토큰 임베딩 프레임워크를 구성하는 단계; 및 상기 신체 각도 정보를 기초로 분석되는 상기 토큰 임베딩 프레임워크를 기초로 상기 수화자의 수화를 상기 자연어로 번역하는 단계;를 포함하는 행동 주파수 분석 기반 수어 번역 방법.

청구항 9에 있어서, 상기 신체 각도 정보를 추출하는 단계는 상기 수화자의 수화에 해당하는 손의 자세 및 움직임에 관련된 수동 신호, 및 상기 수화자의 얼굴 표정과 몸의 인체 자세 및 움직임에 관련된 비수동 신호로부터, 상기 수화자의 손의 움직임, 얼굴 표정 및 인체 자세를 통해 상기 수화에 해당하는 신체 각도 정보를 추출하는 단계;를 포함하는 행동 주파수 분석 기반 수어 번역 방법.

청구항 9에 있어서, 상기 토큰 임베딩 프레임워크를 구성하는 단계는 상기 시계열적으로 변화하는 신체 각도 정보에 대해 단시간 푸리에 변환을 수행하여 상기 토큰 임베딩 프레임워크를 구성하는 단계;를 포함하는 행동 주파수 분석 기반 수어 번역 방법.

청구항 9에 있어서, 상기 토큰 임베딩 프레임워크를 구성하는 단계는 상기 신체 자세에 해당하는 신체 각도 정보를 자연어 번역의 어근으로 정의하고, 상기 수화자의 수화에 해당하는 프레임 시퀀스 내의 연속적인 신체 각도 정보의 변화를 어간 또는 접사로 해석하도록 상기 토큰 임베딩 프레임워크를 구성하는 단계;를 포함하는 행동 주파수 분석 기반 수어 번역 방법.

청구항 12에 있어서, 영상 획득부에 의해, 상기 수화자의 수화 행동에 대한 수화 영상을 획득하는 단계를 더 포함하고, 상기 신체 각도 정보를 추출하는 단계는 상기 수화 영상의 상기 프레임 시퀀스에 대해 설정된 신체 특징점들을 추출하는 단계; 및 상기 신체 특징점들 중 정의된 엣지 쌍을 연결하는 엣지 벡터의 각도를 기반으로, 상기 신체 각도 정보를 생성하는 단계;를 포함하는 행동 주파수 분석 기반 수어 번역 방법.

청구항 13에 있어서, 상기 신체 각도 정보를 추출하는 단계는 상기 수화자에 대해 획득되는 비디오 프레임에 대해 각각 정의된 다양한 신체 부위에 대응되는 다수의 엣지 벡터 간의 유사도들을 산출하는 단계; 상기 다수의 엣지 벡터 간의 유사도를 벡터 성분들로 포함하는 엣지 벡터 유사도 벡터를 산출하는 단계; 및 상기 수화자의 수화에 대해 획득되는 비디오 프레임에 대해 프레임 시퀀스에 따라 엣지 벡터 유사도 벡터를 산출하여 신체 각도 정보 집합을 생성하는 단계;를 포함하는 행동 주파수 분석 기반 수어 번역 방법.

청구항 14에 있어서, 상기 토큰 임베딩 프레임워크를 구성하는 단계는 슬라이딩 윈도우 방식을 기반으로, 상기 신체 각도 정보 집합을 다수의 하위 윈도우로 구분하여 각 하위 윈도우에 해당하는 수화 토큰을 생성하는 단계; 상기 하위 윈도우에 해당하는 수화 토큰 별로 단시간 푸리에 변환을 수행하여 토큰 임베딩을 추출하는 단계; 및 단시간 푸리에 변환에 의해 추출되는 다수의 토큰 임베딩을 기초로 수어를 상기 자연어로 번역하는 단계;를 포함하는 행동 주파수 분석 기반 수어 번역 방법.

청구항 9 내지 청구항 15 중 어느 한 항의 행동 주파수 분석 기반 수어 번역 방법을 실행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.