사용자의 얼굴을 포함하는 사용자 영상을 수신하는 사용자 영상 수신부;상기 사용자 영상을 구성하는 복수의 영상 프레임들 각각에 대해 얼굴 표식(landmark)과 시선 특징을 도출하는 영상 프레임 분석부;상기 얼굴 표식과 시선 특징을 기초로 61차원으로 표현되는 특징 집합을 생성하는 특징 집합 생성부; 및사전 훈련된 복수의 시선 모델들에 대해 상기 특징 집합을 적용하여 상기 사용자의 감정을 인식하는 사용자 감정 인식부를 포함하는 시선 움직임 분석에 의한 감정 인식 장치.

제1항에 있어서, 상기 사용자 영상 수신부는상기 사용자 영상에서 상기 사용자의 얼굴과 적어도 하나의 눈이 검출되는 영상 프레임을 선별하여 저장하는 것을 특징으로 하는 시선 움직임 분석에 의한 감정 인식 장치.

제1항에 있어서, 상기 영상 프레임 분석부는얼굴 인식 알고리즘을 이용하여 상기 얼굴 표식을 추출하고 동공, 눈 거리, 눈 모양 및 시선 방향 특징을 상기 시선 특징으로서 도출하는 것을 특징으로 하는 시선 움직임 분석에 의한 감정 인식 장치.

제1항에 있어서, 상기 특징 집합 생성부는24차원의 시선 방향 벡터(gaze direction vector), 8차원의 시선각(gaze angle), 28차원의 눈 표식(eye landmark) 및 1차원의 눈 깜박임(blink)을 특징 원소로 구성하여 상기 특징 집합을 생성하는 것을 특징으로 하는 시선 움직임 분석에 의한 감정 인식 장치.

제1항에 있어서, 상기 복수의 시선 모델들은각각이 아담(Adam) 최적화 알고리즘과 ReLU 활성화 함수로 사전 훈련되고, 상기 사전 훈련에서 입력 차원수, 학습 비율의 초기값 및 숨겨진 노드 수가 차별적으로 적용되는 것을 특징으로 하는 시선 움직임 분석에 의한 감정 인식 장치.

제5항에 있어서, 상기 사용자 감정 인식부는상기 복수의 시선 모델들 각각에 대해 상기 특징 집합에 관한 입력 차원 수(Input dimensions)와 특징 유형(Feature types)을 서로 다르게 적용하는 것을 특징으로 하는 시선 움직임 분석에 의한 감정 인식 장치.

제1항에 있어서, 상기 사용자 감정 인식부는화남(angry), 혐오(disgust), 공포(fear), 슬픔(sad), 행복(happy), 중립(neutral) 및 놀람(surprise) 중 어느 하나를 상기 사용자의 감정으로서 결정하는 것을 특징으로 하는 시선 움직임 분석에 의한 감정 인식 장치.

감정 인식 장치에서 수행되는 방법에 있어서,사용자의 얼굴을 포함하는 사용자 영상을 수신하는 단계;상기 사용자 영상을 구성하는 복수의 영상 프레임들 각각에 대해 얼굴 표식(landmark)과 시선 특징을 도출하는 단계;상기 얼굴 표식과 시선 특징을 기초로 61차원으로 표현되는 특징 집합을 생성하는 단계; 및사전 훈련된 복수의 시선 모델들에 대해 상기 특징 집합을 적용하여 상기 사용자의 감정을 인식하는 단계를 포함하는 시선 움직임 분석에 의한 감정 인식 방법.

사용자의 얼굴을 포함하는 사용자 영상을 수신하는 사용자 영상 수신부;상기 사용자 영상을 기초로 얼굴 기반의 감정인식 모델의 신뢰도를 제1 신뢰도로서 획득하는 제1 신뢰도 획득부;상기 사용자 영상을 기초로 시선 움직임 기반의 감정인식 모델의 신뢰도를 제2 신뢰도로서 획득하는 제2 신뢰도 획득부; 및상기 제1 및 제2 신뢰도들을 융합하여 상기 사용자의 감정을 최종 결정하는 사용자 감정 인식부를 포함하는 시선 움직임 기반의 감정 인식이 적용된 감정 인식 장치.

제9항에 있어서, 상기 제1 신뢰도 획득부는상기 얼굴 기반의 감정인식 모델로서 다중 레벨 컨벌루션 신경망(MLCNN)을 적용하여 7차원 벡터로 표현되는 신뢰도를 상기 제1 신뢰도로서 획득하는 것을 특징으로 하는 시선 움직임 기반의 감정 인식이 적용된 감정 인식 장치.

제9항에 있어서, 상기 제2 신뢰도 획득부는상기 사용자 영상을 수신하는 제1 단계, 상기 사용자 영상을 구성하는 복수의 영상 프레임들 각각에 대해 얼굴 표식(landmark)과 시선 특징을 도출하는 제2 단계, 상기 얼굴 표식과 시선 특징을 기초로 61차원으로 표현되는 특징 집합을 생성하는 제3 단계 및 사전 훈련된 복수의 시선 모델들에 대해 상기 특징 집합을 적용하여 상기 사용자의 감정을 인식하는 제 4단계로 구성된 감정 인식 방법을 상기 시선 움직임 기반의 감정인식 모델로서 적용하여 7차원 벡터로 표현되는 신뢰도를 상기 제2 신뢰도로서 획득하는 것을 특징으로 하는 시선 움직임 기반의 감정 인식이 적용된 감정 인식 장치.

제9항에 있어서, 상기 사용자 감정 인식부는결정단계융합(Decision Level Fusion, DLF) 및 메타 모델 중 어느 하나를 상기 융합의 과정에 적용하는 것을 특징으로 하는 시선 움직임 기반의 감정 인식이 적용된 감정 인식 장치.

제12항에 있어서, 상기 사용자 감정 인식부는다층 퍼셉트론 신경망을 상기 메타 모델로서 상기 융합의 과정에 적용하는 것을 특징으로 하는 시선 움직임 기반의 감정 인식이 적용된 감정 인식 장치.