기존의 정서적 말하기 3D 얼굴 애니메이션은 주로 특정 정서 조건을 사용하여 정서적 얼굴을 애니메이팅하는 데 초점을 맞추고 있다. 그러나 실제 상황에서는 누구도 일관되게 단 한 가지 정서만을 가지고 말하지 않는다. 따라서 기존의 정서 기반 접근법은 실세계 응용에서의 적용 가능성이 매우 제한적이다. 이러한 문제를 해결하기 위해, 우리는 SDETalk이라는 새로운 학습 프레임워크를 제안하며, 음성에서 정서적 소스를 활용하여 정서적 말하기 얼굴을 애니메이팅한다. 이전 연구들이 정적인 원-핫(one-hot) 정서 조건을 사용하는 데 비해, 제안하는 네트워크는 음성으로부터 복잡한 정서 상태를 회귀(regress)한다. 이를 통해 특정 정서 조건을 사용하지 않고도 정서가 담긴 음성으로부터 자연스러운 얼굴 애니메이션을 생성할 수 있다. 또한, 머리 움직임은 말하기 얼굴 애니메이션의 자연스러움을 향상시키는 중요한 요소이므로, 제안 방법은 머리 움직임을 생성하도록 설계한다. 그 결과, 우리의 접근법은 정서적 음성으로부터 정확한 입 모션, 자연스러운 표정, 리듬감 있는 머리 움직임을 동시에 달성한다. 질적 및 양적 측면에서의 광범위한 실험을 통해, 본 방법이 실제적이고 표현력 있는 3D 얼굴을 애니메이팅함으로써 다른 최신 기법들보다 우수함이 입증되었다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.