강인한 얼굴 표정 인식(FER) 시스템을 구축하는 일은 얼굴 표정의 감정적 모호성으로 인해 여전히 어려운 문제이다. 최근의 접근은 얼굴 표정과 생리 신호를 모두 활용하여 다중 모달 감정 인식 시스템을 설계한다. 그러나 이러한 접근은 센서 모달리티를 사용해야 하므로 피부에 물리적 접촉이 필요하다. 비접촉 감정 인식 시스템에 대한 요구를 충족하기 위해, 우리는 얼굴 이미지 시퀀스로부터 얼굴 특징을 추출하고 이를 이용해 심박수(HR)를 추정하기 위해 순환 신경망 기반의 합성곱 신경망(CRNN)을 사용한다. 특히 기존의 특징 융합 방식과 달리, 단일 모델을 사용하여 얼굴 이미지 시퀀스로부터 감정과 HR을 동시에 예측하기 위한 다중 작업 학습(MTL) 프레임워크를 제안한다. DEAP 및 MAHNOB-HCI 데이터셋에서의 실험은 제안된 다중 작업 프레임워크가 FER 정확도를 최대 6.85% 향상시키며, 기존 최첨단 방법에 비해 우수한 성능을 달성함을 보여준다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.