드래그 입력 명령 및 이미지를 획득하는 입출력부; 및드래그 입력 명령 및 이미지를 입력받아 광학 흐름을 출력하도록 학습된 제1인공지능모델을 이용하여, 상기 드래그 입력 명령 및 상기 이미지에 기초하여 광학 흐름(optical flow)을 획득하며, 상기 제1인공지능모델과 상이한 제2인공지능모델에 상기 광학 흐름 및 상기 이미지를 입력하여 상기 제2인공지능모델의 출력으로서 편집이미지를 획득하고, 상기 편집이미지를 제공하는 제어부를 포함하고,상기 제1인공지능모델은 상기 드래그 입력 명령을 대응되는 희소 광학 흐름으로 변경시키고, 상기 희소 광학 흐름 및 상기 이미지에 기초하여 광학 흐름을 출력하며,상기 제어부는,제1인공지능모델의 학습 단계에서, 학습 중인 제1인공지능모델에 의해 변경된 희소 광학 흐름을 구성하는 각 채널에 대해, 희소 광학 흐름의 절대값 최대치로 해당 채널을 나누는 샘플별 정규화(Sample-wise normalization)를 시키고,제2인공지능모델의 학습 단계에서, 상기 광학 흐름을 상기 이미지의 크기로 나누는 고정 크기 정규화(Fixed size normalization)를 시키는, 이미지 편집 장치.

제1항에 있어서,상기 제어부는,적대적 생성 신경망(Generative Adversarial Networks; GAN)의 생성기(generator) 및 판별기(discriminator)로 구성된 제1인공지능모델을 학습시키되, 상기 생성기가 입력 이미지와 조건부 드래그 입력을 기반으로 가짜(fake) 합성 광학 흐름을 만들어내고, 상기 판별기가 가짜 광학 흐름과 진짜 광학 흐름을 구분하는 과정을 수행하도록 함으로써 상기 제1인공지능모델을 학습시키는, 이미지 편집 장치.

제2항에 있어서,상기 제어부는,임의의 비디오 데이터에 기초하여, 두 개의 이미지, 두 개의 마스크, 광학 흐름으로 이루어진 샘플이 복수개 포함되는 학습 데이터 세트를 획득함으로써 상기 비디오 데이터를 전처리하되, 상기 전처리된 비디오 데이터를 이용하여 상기 제1인공지능모델을 학습시키는, 이미지 편집 장치.

제3항에 있어서,상기 제어부는,상기 두 개의 이미지 중 하나인 제1이미지의 배경을, 나머지 하나의 이미지인 제2이미지로 채운 이미지를 생성하되, 상기 생성된 이미지로 상기 제1이미지를 치환하여 구성된 샘플이 복수개 포함되는 학습 데이터 세트를 이용하여 상기 제2인공지능모델을 학습시키는, 이미지 편집 장치.

제1항에 있어서,상기 제어부는,확산 모델(diffusion model) 기반 상기 제2인공지능모델을 학습시키되, 이미지 및 광학 흐름에 기초하여 랜덤 노이즈로부터 이미지를 복원하는데 필요한 노이즈를 점진적으로 제거하도록 상기 제2인공지능모델을 학습시키는, 이미지 편집 장치.

제1항에 있어서,상기 제어부는,상기 제1인공지능모델로부터의 광학 흐름에 대한 고정 크기 정규화(fixed size normalization)를 수행하여 상기 제2인공지능모델에 입력하는, 이미지 편집 장치.

제 1항에 있어서,상기 제어부는, U(0, 1)에서 샘플링한 임의의 값으로 초기화한 희소 흐름 에 기초하여 임의의 드래그 입력 명령을 생성하고 생성된 임의의 드래그 입력 명령을 이용하여 상기 제1인공지능 모델을 학습시키는, 이미지 편집 장치.

삭제

이미지 편집 장치가 수행하는 이미지 편집 방법으로서,드래그 입력 명령 및 이미지를 획득하는 단계;드래그 입력 명령 및 이미지를 입력받아 광학 흐름을 출력하도록 학습된 제1인공지능모델을 이용하여, 상기 드래그 입력 명령 및 상기 이미지에 기초하여 광학 흐름을 획득하는 단계;상기 제1인공지능모델과 상이한 제2인공지능모델에 상기 광학 흐름 및 상기 이미지를 입력하여 상기 제2인공지능모델의 출력으로서 편집이미지를 획득하는 단계; 및상기 편집이미지를 제공하는 단계를 포함하고,상기 제1인공지능모델은 상기 드래그 입력 명령을 대응되는 희소 광학 흐름으로 변경시키고, 상기 희소 광학 흐름 및 상기 이미지에 기초하여 광학 흐름을 출력하고, 상기 방법은, 제1인공지능모델을 학습시키는 단계 및 제2 인공지능모델을 학습시키는 단계를 더 포함하며, 상기 제1인공지능모델을 학습시키는 단계는, 학습 중인 제1인공지능모델에 의해 변경된 희소 광학 흐름을 구성하는 각 채널에 대해, 희소 광학 흐름의 절대값 최대치로 해당 채널을 나누는 샘플별 정규화(Sample-wise normalization) 시키는 단계를 포함하고, 상기 제2인공지능모델을 학습시키는 단계는, 상기 광학 흐름을 상기 이미지의 크기로 나누는 고정 크기 정규화(Fixed size normalization)를 시키는 단계를 포함하는, 이미지 편집 방법.

제9항에 있어서,상기 방법은,적대적 생성 신경망(Generative Adversarial Networks; GAN)의 생성기(generator) 및 판별기(discriminator)로 구성된 제1인공지능모델을 학습시키되, 상기 생성기가 입력 이미지와 조건부 드래그 입력을 기반으로 가짜(fake) 합성 광학 흐름을 만들어내고, 상기 판별기가 가짜 광학 흐름과 진짜 광학 흐름을 구분하는 과정을 수행하도록 함으로써 상기 제1인공지능모델을 학습시키는 단계를 더 포함하는, 이미지 편집 방법.

제10항에 있어서,상기 제1인공지능모델을 학습시키는 단계는,임의의 비디오 데이터에 기초하여, 두 개의 이미지, 두 개의 마스크, 광학 흐름으로 이루어진 샘플이 복수개 포함되는 학습 데이터 세트를 획득함으로써 상기 비디오 데이터를 전처리하되, 상기 전처리된 비디오 데이터를 이용하여 상기 제1인공지능모델을 학습시키는 단계를 포함하는, 이미지 편집 방법.

제9항에 있어서,상기 방법은,확산 모델(diffusion model) 기반 상기 제2인공지능모델을 학습시키되, 이미지 및 광학 흐름에 기초하여 랜덤 노이즈로부터 이미지를 복원하는데 필요한 노이즈를 점진적으로 제거하도록 상기 제2인공지능모델을 학습시키는 단계를 더 포함하는, 이미지 편집 방법.

제9항에 있어서,상기 광학 흐름을 획득하는 단계는,상기 제1인공지능모델로부터의 광학 흐름에 대한 고정 크기 정규화(fixed size normalization)를 수행하는 단계를 포함하는, 이미지 편집 방법.

제9항에 기재된 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.

이미지 편집 장치에 의해 수행되며, 제9항에 기재된 방법을 수행하기 위해 매체에 저장된 컴퓨터 프로그램.