제1항에 있어서,상기 프로세서는, 인코더 및 디코더를 이용하여 상기 제3 문맥 벡터 표현에 대응하는 재구성 문맥 벡터 표현을 획득하고, 상기 제3 문맥 벡터 표현 및 상기 재구성 문맥 벡터 표현 사이의 차이인 재구성 오류를 획득하고, 상기 재구성 오류를 기반으로 중립에 대한 판단을 수행하고, 만약 중립으로 판단되면, 상기 중립으로 판단된 데이터의 확률을 수정하는 멀티 모달 감정 인식 장치.

발화 데이터를 획득하는 입력부; 및상기 발화 데이터로부터 획득된 음성 데이터에 대해 제1 특징 벡터를 획득하고, 상기 제1 특징 벡터를 기반으로 제1 문맥 벡터 표현을 획득하고, 상기 발화 데이터로부터 획득된 텍스트 데이터에 대해 제2 특징 벡터를 획득하고, 상기 제2 특징 벡터를 기반으로 제2 문맥 벡터 표현을 획득하고, 상기 제1 문맥 벡터 표현 및 상기 제2 문맥 벡터 표현을 조합하여 제3 문맥 벡터 표현을 획득하는 프로세서;를 포함하는 멀티 모달 감정 인식 장치.

제1항에 있어서,상기 프로세서는, 전체 손실을 기반으로 훈련되는 학습 모델을 포함하되, 상기 전체 손실은 상기 제1 문맥 벡터 표현에 대응한 제1 손실, 상기 제2 문맥 벡터 표현에 대응하는 제2 손실 및 상기 제3 문맥 벡터 표현에 대응하는 제3 손실의 가중합을 포함하는 멀티 모달 감정 인식 장치.

제2항에 있어서,상기 제1 손실에 대한 제1 가중치 및 상기 제2 손실에 대한 제2 가중치는 감정 인식의 정확도를 반영하여 결정되는 멀티 모달 감정 인식 장치.

제3항에 있어서,클래스가 행복 또는 슬픔인 경우에는, 상기 제1 손실에 대한 제1 가중치가 상기 제2 손실에 대한 제2 가중치보다 더 크게 주어지고, 클래스가 분노인 경우에는 상기 제1 손실에 대한 제1 가중치가 상기 제2 손실에 대한 제2 가중치보다 더 작게 주어지는 멀티 모달 감정 인식 장치.

제5항에 있어서,상기 인코더 및 상기 디코더는 평균 제곱 오차를 기반으로 훈련되되, 상기 평균 제곱 오차는 만약 데이터의 클래스가 감정 클래스라면, 상기 제3 문맥 벡터 표현과 부호가 반대가 되도록 감정 클래스에 대해 재구성된 문맥 벡터 표현과, 상기 제3 문맥 벡터 표현 사이의 차이에 대한 제곱의 평균으로 주어지는 멀티 모달 감정 인식 장치.

제5항에 있어서,상기 인코더 및 상기 디코더는 평균 제곱 오차를 기반으로 훈련되되, 상기 평균 제곱 오차는 만약 데이터의 클래스가 중립 클래스라면, 상기 재구성된 문맥 벡터 표현과, 상기 제3 문맥 벡터 표현 사이의 차이에 대한 제곱의 평균으로 주어지는 멀티 모달 감정 인식 장치.

발화 데이터로부터 획득된 음성 데이터에 대해 제1 특징 벡터를 획득하는 단계; 상기 제1 특징 벡터를 기반으로 제1 문맥 벡터 표현을 획득하는 단계;상기 발화 데이터로부터 획득된 텍스트 데이터에 대해 제2 특징 벡터를 획득하는 단계;상기 제2 특징 벡터를 기반으로 제2 문맥 벡터 표현을 획득하는 단계; 및상기 제1 문맥 벡터 표현 및 상기 제2 문맥 벡터 표현을 조합하여 제3 문맥 벡터 표현을 획득하는 단계;를 포함하는 멀티 모달 감정 인식 방법.

제8항에 있어서,전체 손실을 기반으로 훈련되는 단계;를 더 포함하되,상기 전체 손실은 상기 제1 문맥 벡터 표현에 대응한 제1 손실, 상기 제2 문맥 벡터 표현에 대응하는 제2 손실 및 상기 제3 문맥 벡터 표현에 대응하는 제3 손실의 가중합을 포함하는 멀티 모달 감정 인식 방법.

제9항에 있어서,상기 제1 손실에 대한 제1 가중치 및 상기 제2 손실에 대한 제2 가중치는 감정 인식의 정확도를 반영하여 결정되는 것인 멀티 모달 감정 인식 방법.

제10항에 있어서,클래스가 행복 또는 슬픔인 경우에는, 상기 제1 손실에 대한 제1 가중치가 상기 제2 손실에 대한 제2 가중치보다 더 크게 주어지고, 클래스가 분노인 경우에는 상기 제1 손실에 대한 제1 가중치가 상기 제2 손실에 대한 제2 가중치보다 더 작게 주어지는 멀티 모달 감정 인식 방법.

제8항에 있어서,인코더 및 디코더를 이용하여 상기 제3 문맥 벡터 표현에 대응하는 재구성 문맥 벡터 표현을 획득하는 단계;상기 제3 문맥 벡터 표현 및 상기 재구성 문맥 벡터 표현 사이의 차이인 재구성 오류를 획득하는 단계;상기 재구성 오류를 기반으로 중립에 대한 판단을 수행하는 단계; 및만약 중립으로 판단되면, 상기 중립으로 판단된 데이터의 확률을 수정하는 단계;를 더 포함하는 멀티 모달 감정 인식 방법.

제12항에 있어서,상기 인코더 및 상기 디코더는 평균 제곱 오차를 기반으로 훈련되되, 상기 평균 제곱 오차는 만약 데이터의 클래스가 감정 클래스라면, 상기 제3 문맥 벡터 표현과 부호가 반대가 되도록 감정 클래스에 대해 재구성된 문맥 벡터 표현과, 상기 제3 문맥 벡터 표현 사이의 차이에 대한 제곱의 평균으로 주어지는 멀티 모달 감정 인식 방법.

제12항에 있어서,상기 인코더 및 상기 디코더는 평균 제곱 오차를 기반으로 훈련되되, 상기 평균 제곱 오차는 만약 데이터의 클래스가 중립 클래스라면, 상기 재구성된 문맥 벡터 표현과, 상기 제3 문맥 벡터 표현 사이의 차이에 대한 제곱의 평균으로 주어지는 멀티 모달 감정 인식 방법.