실제 사용자의 얼굴을 동화미디어에 적용하기 위해 사용자의 얼굴을 다각도로 카메라를 통해 촬영하는 단계; AI부는 딥페이크방법을 통해 동화 미디어 영상과 상기 다각도 촬영된 본인 얼굴 영상을 분석하여 각각 데이터를 저장부에 저장하는 단계; AI부는 저장된 얼굴 데이터 셋을 이용하여 모델을 학습시키는 단계;사용자의 얼굴 데이터를 선택한 동화미디어 영상의 등장인물 얼굴과 변환하여 해당하는 동화미디어의 등장인물을 사용자의 얼굴로 변환부를 통해 변환하는 단계;출력 단계;로 이루어지며, 상기 다각도 촬영된 본인 얼굴 영상은 애니메이션 필터를 거쳐 필터처리되는 것으로, 상기 본인 얼굴 영상을 분석방법은 전체 이미지에서 얼굴이 있는 부분을 포괄하여 탐지(Detection) 한 뒤, 얼굴의 특징에 따라 랜드마크를 표시하여 표정을 나타내는 딥페이크 기술을 활용한 동화 미디어 셀프 제작방법에 있어서, 상기 랜드마크는 목표 영상의 표정을 결과물에 명확히 드러나게 하기위한 것으로 눈, 코, 입의 모양에 따라 표시된 랜드마크가 표정을 잡는데 도움을 주게 되며, 제어부는 다양한 구도와 표정에서 전체 이미지의 3~5%의 수작업으로 추출된 마스크로 전체 이미지를 훈련하여 머리카락과 얼굴의 경계를 확실히 구분하는 최종 마스크모델을 생성하되, 학습은 더 오랜 시간 할수록 더 많은 데이터 모델이 생성되게 되며,상기 데이터 모델을 이용한 딥페이크 영상 출력은 원본 이미지와 추출 단계에서 생성된 마스크를 입력으로 학습을 시작하며, 모델은 두 개의 FC(Fully-Connected) 레이어와 특징맵의 업샘플링(up-sampling)으로 원본 영상과 목표 영상의 가중치를 공유하며, 모델은 두 개의 Inter 레이어를 사용함으로써 목표 영상에서 인코더, Inter 레이어를 거친 출력이 두 개가 되며, 이를 연결하여 원본 영상과 목표 영상 각각의 방향성을 더욱 뚜렷하게 표현하며, 학습에서의 손실 함수로 원본 영상과 목표 영상 두 얼굴의 일반적인 특징을 추출하기 위한 SSIM(Structure Similarity)과 영상의 명확성을 추출하는 MSE(Mean Square Error)를 사용하며, 출력된 결과물은 프레임 단위로 나오기 때문에 마지막으로 병합하는 과정을 거쳐 미디어파일로 다시 한번 인코딩해 출력하며, 사용자가 선택한 동화미디어 영상과 사용자가 애니메이션 필터를 적용한 카메라로 직접 촬영한 다각도의 실제 본인 얼굴을 입력하면 Deepfake 기술을 통해 동화 미디어 영상과 다각도 촬영된 본인 얼굴 영상을 분석하여 각각 데이터를 저장하며, 저장된 얼굴 데이터 셋을 이용하여 모델을 학습한 후 사용자의 얼굴 데이터를 선택한 동화미디어 영상의 등장인물 얼굴과 변환하여 해당하는 동화미디어의 등장인물을 사용자의 얼굴로 변환한뒤 출력하는 것을 특징으로 하는 딥페이크 기술을 활용한 동화 미디어 셀프 제작방법

삭제

삭제