전경 이미지의 가장자리 복원을 통한 이미지 조화 방법
IMAGE HARMONIZATION METHOD THROUGH INPAINTING BOUNDARIES OF FOREGROUND IMAGE
특허 요약
본 발명은 이미지를 조화함에 있어서 신경망을 통해 전경의 가장자리 영역을 복원함으로써, 전경과 배경 간의 이질감이 없는 조화 이미지를 생성하는 방법에 관한 것이다. 본 발명의 일 실시예에 따른 이미지 조화 방법은 합성 이미지 내 전경 이미지와 배경 이미지를 조화하여 조화 이미지를 생성하는 단계, 상기 조화 이미지에서 상기 전경 이미지의 가장자리 영역을 마스킹하는 단계 및 생성적 적대 신경망(Generative Adversarial Network; GAN)을 통해 상기 마스킹된 가장자리 영역을 복원하는 단계를 포함하는 것을 특징으로 한다.
청구항
번호청구항
2

제1항에 있어서,상기 조화 이미지를 생성하는 단계는상기 전경 이미지의 색상, 명도 및 채도를 상기 배경 이미지에 대응되도록 변경하여 상기 조화 이미지를 생성하는 단계를 포함하는이미지 조화 방법.

3

제1항에 있어서,상기 조화 이미지를 생성하는 단계는상기 합성 이미지 및 상기 전경 이미지에 대한 마스크를 입력받는 단계와,상기 합성 이미지와 상기 마스크를 신경망 모델에 입력하여 상기 조화 이미지를 생성하는 단계를 포함하는이미지 조화 방법.

5

제1항에 있어서,상기 조화 이미지를 생성하는 단계는비전 트랜스포머(Vision Transformer; ViT) 기반 신경망을 이용하여 상기 조화 이미지를 생성하는 단계를 포함하는이미지 조화 방법.

6

삭제

7

제1항에 있어서,상기 가장자리 마스크를 생성하는 단계는상기 전경 이미지에 대한 마스크의 가장자리를 식별하는 단계와,상기 식별된 가장자리에 대한 가장자리 마스크를 생성하는 단계를 포함하는이미지 조화 방법.

4

제1항에 있어서,상기 조화 이미지를 생성하는 단계는상기 합성 이미지를 입력받는 단계와,상기 합성 이미지로부터 상기 전경 이미지에 대한 마스크를 생성하는 단계와,상기 합성 이미지와 상기 마스크를 신경망 모델에 입력하여 상기 조화 이미지를 생성하는 단계를 포함하는이미지 조화 방법.

1

합성 이미지 내 전경 이미지와 배경 이미지를 조화하여 조화 이미지를 생성하는 단계;상기 전경 이미지의 가장자리에 대한 가장자리 마스크를 생성하는 단계;상기 조화 이미지에 상기 가장자리 마스크를 적용하여 상기 조화 이미지에서 상기 전경 이미지의 가장자리 영역을 마스킹하는 단계; 및생성적 적대 신경망(Generative Adversarial Network; GAN)을 통해 상기 마스킹된 가장자리 영역을 복원하는 단계를 포함하는이미지 조화 방법.

8

제1항에 있어서,상기 조화 이미지에 상기 가장자리 마스크를 적용하는 단계는상기 조화 이미지에 상기 가장자리 마스크를 요소별 곱셈(element-wise multiplication)하는 단계를 포함하는이미지 조화 방법.

9

제1항에 있어서,상기 생성적 적대 신경망은 구조 가이던스(structure guidance)를 참조하여 복원 동작을 수행하는이미지 조화 방법.

10

제9항에 있어서,상기 생성적 적대 신경망은 CTSDG(Conditional Texture and Structure Dual Generation) 모델인이미지 조화 방법.

11

제1항에 있어서,상기 복원하는 단계는상기 합성 이미지의 픽셀 유사도(affinity)에 따라 클러스터링된 상기 조화 이미지의 각 영역별 구조에 대응하는 고유벡터(eigenvector)를 생성하는 단계와,상기 고유벡터 및 상기 마스킹된 조화 이미지를 상기 생성적 적대 신경망에 입력하여 상기 가장자리 영역을 복원하는 단계를 포함하는이미지 조화 방법.

12

제11항에 있어서,상기 고유벡터를 생성하는 단계는상기 조화 이미지를 입력받고 상기 합성 이미지를 구성하는 각 픽셀 간 유사도 행렬에 따른 고유벡터를 출력하는 인코더-디코더를 이용하여 상기 고유벡터를 생성하는 이미지 조화 방법.

13

제12항에 있어서,상기 인코더-디코더는 하기 [수학식 1] 및 [수학식 2]로 표현되는 제1 및 제2 손실함수의 선형 결합(linear combination)을 최소로 만드는 상기 고유벡터를 출력하는[수학식 1],(여기서 는 제1 손실함수, A는 상기 합성 이미지에 대한 유사도 행렬, V는 고유벡터)[수학식 2](여기서 는 하이퍼파라미터(hyperparameter), i 및 j 상기 고유벡터의 픽셀 인덱스, k는 상기 고유벡터의 채널)이미지 조화 방법.

도면대표도면