최근 딥러닝의 발전과 함께, 얼굴 표정 조작(FEM)은 큰 주목을 받는 분야 중 하나가 되었다. 그러나 많은 연구는 잠재 공간에서의 클래스 구분을 고려하지 않은 채 학습에만 초점을 맞추고 있다. 본 논문은 얼굴 표정과 같은 의미적 속성을 FEM 과제에서 효과적으로 반영하기 위해 자기 주의(self-attention)와 상호 정보(mutual information)를 활용하는 표현 학습 기법을 제안한다. 본 프레임워크는 주의 기반 판별 학습(attention-based discriminative learning)과 감정 강도 인지 대조 학습(emotional intensity-aware contrastive learning)을 사용하며, 압축된 임베딩 공간을 형성할 수 있다. 이러한 압축된 임베딩 공간은 실제 합성 결과에서 더 식별력이 높고 풍부한 얼굴 표정 합성을 가능하게 한다. 그 결과, 우리는 기존 방법들보다 우수한 얼굴 표정 합성 결과를 도출하였다. 또한 FEM에서 얼굴 표정 표현의 정도를 정량화할 수 있는 FED 지표 측면에서도 제안 방법이 다른 방법들보다 성능이 뛰어나다. 이러한 성공적인 결과를 입증하기 위해 t-SNE를 사용하여 각 클래스에 대한 실제 임베딩 결과를 시각화한다. 더 나아가, 제안 방법을 통해 형성된 잠재 공간이 얼굴 표정 인식 측면에서도 도움이 됨을 증명한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.