최근 들어 딥러닝(Deep Learning)과 기계학습(Machine Learning) 알고리즘을 이용한 수화 인식에 관한 연구가 많이 진행되고 있다. 다양한 종류의 정보를 요구하는 수화의 특성 때문에 단어 단위 수화 인식은 다양한 방법론들이 제시되었다. 수화 인식에 대한 기법은 이미지 기반의 방법과 자세 기반의 방법으로 나뉜다. 초반에는 이미지 기반의 합성곱 신경망을 이용하는 방법들이 제시되어 준수한 성능을 보였다. 이미지 기반의 방법들은 주로 수화의 전체적인 정보에 집중하였다. 그 이후에는 행동 인식 분야에서 많이 사용하던 자세 기반의 관절 정보를 이용한 그래프 합성곱 신경망을 적용하였다. 이때, 얻은 정보들은 대부분 수화에서 관계성에만 집중하였다, 하지만 단일 스트림 신경망으로 얻을 수 있는 정보로는 다양한 종류의 정보가 필요한 수화 특징을 잡아내는 데 부족했고, 많은 논문이 다중 신경망을 통해 수화 인식에 필요한 다양한 정보를 얻었다. 본 논문에서는 수화 인식에서 중요한 얼굴과 손의 지역적인 정보를 얻기 위한 데이터 형태인 관절 좌표 이미지 패치와 트랜스포머 네트워크를 활용한 다중스트림 네트워크를 제안한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.