임의의 발화자의 얼굴 이미지를 획득하는 획득부;Face2Speech 모델에 상기 획득부로부터 전송된 임의의 발화자의 얼굴 이미지가 입력되면 임의의 발화자의 얼굴 형상에 따른 스펙트로그램(Spectrogram)을 생성하는 생성부; 및상기 생성부로부터 생성된 스펙트로그램(Spectrogram)을 이용하여 임의의 발화자의 음성을 출력하는 출력부;를 포함하는 딥러닝 기술을 활용한 얼굴 이미지 기반 음성 생성 시스템.

제 1항에 있어서, 상기 획득부로부터 획득된 다수 발화자의 얼굴 이미지와 음성 데이터를 이용하여 상기 Face2Speech 모델을 학습시키는 학습부;를 더 포함하고,상기 학습부는,다수 발화자의 얼굴 이미지를 각각 전처리한 후 제1 VGGNet16 모델을 이용하여 얼굴 특징값을 각각 추출하는 얼굴 특징값 추출부; 단시간 푸리에 변환(Short Time Fourier Transform; STFT) 기술기반으로 다수 발화자의 음성 데이터를 스펙트로그램(Spectrogram)으로 각각 변환한 후 제2 VGGNet16 모델을 이용하여 음성 특징값을 각각 추출하는 음성 특징값 추출부; 및상기 얼굴 특징값을 제1 특징으로 하고 상기 음성 특징값으로 제1 라벨링(Labeling)하는 제1 라벨링부;를 포함하는 것을 특징으로 하는 딥러닝 기술을 활용한 얼굴 이미지 기반 음성 생성 시스템.

제 2항에 있어서, 상기 학습부는,상기 음성 특징값을 제2 특징으로 하고, 상기 음성 특징 추출부로부터 변환된 스펙트로그램(Spectrogram)으로 제2 라벨링(Labeling)하는 제2 라벨링부;를 더 포함하는 것을 특징으로 하는 딥러닝 기술을 활용한 얼굴 이미지 기반 음성 생성 시스템.

제 2항에 있어서, 제1 VGGNet16 모델과 제2 VGGNet16 모델은,제1 컨볼루션 블록 내지 제n 컨볼루션 블록을 포함하고, 상기 제n 컨볼루션 블록 다음으로 하나 이상의 fc 4096 레이어를 포함하는 것을 특징으로 하는 딥러닝 기술을 활용한 얼굴 이미지 기반 음성 생성 시스템.여기서, n은 양의 정수이다.

획득부에 의하여, 임의의 발화자의 얼굴 이미지가 획득되는 얼굴 이미지 획득단계;생성부에 의하여, Face2Speech 모델에 상기 얼굴 이미지 획득단계로부터 전송된 임의의 발화자의 얼굴 이미지가 입력되면 임의의 발화자의 얼굴 형상에 따른 스펙트로그램(Spectrogram)이 생성되는 생성단계; 및출력부에 의하여, 상기 생성단계로부터 생성된 스펙트로그램(Spectrogram)이 이용되어 임의의 발화자의 음성이 출력되는 출력단계;를 포함하는 딥러닝 기술을 활용한 얼굴 이미지 기반 음성 생성 방법.