3D 얼굴 모델의 가장 중요한 측면 중 하나는 얼굴 재구성이다. 그러나 3D 형태가능 모델(3DMM)을 표현이 강한 얼굴에 적합시킬 때, 얼굴 형상 왜곡이 정체성(identity) 때문인지 표현(expression) 때문인지가 명확하지 않다. 이러한 문제를 해결하기 위해, 우리는 시간에 따라 안정적이고 정밀한 얼굴을 재구성하기 위한 신경망을 제안한다. 재구성 네트워크는 비디오 시퀀스로부터 3DMM 파라미터를 추출하여 시간에 따라 변하는 3D 얼굴을 표현한다. 한편, 우리의 변위(displacement) 네트워크는 얼굴 랜드마크의 변화를 학습한다. 특히, 네트워크는 각각 얼굴 정체성, 얼굴 표정, 그리고 시간적 단서로 인해 발생하는 변화를 학습한다. 제안된 얼굴 정렬(facial alignment) 네트워크는 이러한 변위 네트워크를 활용함으로써 정적 및 동적 얼굴을 재구성하는 데 있어 신뢰할 수 있고 정밀한 성능을 보인다. 300 Videos in the Wild(300VW) 데이터셋을 활용하여 정성적 및 정량적 평가를 수행함으로써 본 방법의 효과를 확인한다. 그 결과, 본 방법은 비디오 시퀀스로부터 3D 얼굴을 재구성하는 데 있어 상당한 이점을 보이는 것으로 나타났다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.