결손이 없는 원본영상인 기준영상(In)에 검은색과 흰색 영역 값을 갖는 마스크 영상(M)을 합성하여 생성된 결손이 발생된 데이터 영상(Im)과 상기 마스크 영상(M)을 입력받고 복수의 콘볼루션 레이어를 통해 결손이 발생된 입력영상의 특징맵을 추출하는 인코더(111)와, 추출된 특징맵에 커널의 확장비율을 비례적으로 확장하여 픽셀간 상관관계를 파악하되 상기 커널의 픽셀간 간격 비율은 결손영역이 포함되도록 설정하고 특징맵의 좌측 상단으로부터 우측 하단으로 한 칸씩 이동하며 콘볼루션 연산을 수행하는 확장 콘볼루션부(112)와, 상기 확장 컨볼루션부(112)에서 출력되는 특징맵을 역변환하여 결손이 보정된 출력영상을 출력하는 디코더(113)를 포함하는 영상 생성부(110);상기 출력영상을 상기 마스크 영상(M)과 기준영상(In)을 이용하여 보정영역과 비 보정영역으로 구분하는 영역 구분부(121)와, 상기 비보정영역의 영상을 복수의 콘볼루션 레이어를 적용하여 학습하는 글로벌 판단부(122)와, 상기 보정영역의 영상을 복수의 콘볼루션 레이어를 적용하여 학습하는 로컬 판단부(123)와, 학습된 보정영역의 영상과 비 보정영역의 영상에 대해 진위여부를 판단하는 진위부(124)를 포함하는 진위 판단부(120);상기 진위여부에 따라 상기 영상 생성부 및 진위 판단부(120)의 손실함수를 최소화하는 가중치를 상기 영상 생성부(110) 및 진위 판단부(120)에 업데이트하는 손실 산출부(130); 를 포함하되,상기 영상생성부(110)는 결손이 발생된 입력영상의 특징맵을 추출하고, 추출된 특징맵의 픽셀간 상관관계를 파악하여 상기 결손이 보정된 출력영상을 생성하는 과정을 기설정된 횟수까지 반복학습하고,진위 판단부(120)는 상기 영상 생성부(110)에서 출력된 출력영상에 대한 진위 판단을 기설정된 횟수까지 반복학습하고 상기 손실 산출부(130)는 상기 진위 판단부(120)의 진위 여부에 따라 출력영상 생성 및 진위 여부 판단시 손실을 경쟁적으로 최소화시키는 가중치를 산출하는 경쟁적 학습을 기설정된 횟수까지 반복 학습하며,기설정횟수 반복수행 후 최종 산출된 가중치를 영상 생성부(110)에 적용하여 아웃페인팅 학습모델을 생성하는 것을 특징으로 하는 딥러닝기반 아웃페인팅 장치.

삭제

삭제

삭제

결손이 없는 원본영상인 기준영상(In)에 검은색과 흰색 영역 값을 갖는 마스크 영상(M)을 합성하여 생성된 결손이 발생된 데이터 영상(Im)과 상기 마스크 영상(M)을 입력받고 복수의 콘볼루션 레이어를 통해 결손이 발생된 입력영상의 특징맵을 추출하는 단계(S510);추출된 특징맵에 커널의 확장비율을 비례적으로 확장하여 픽셀간 상관관계를 파악하는 단계(S520);상기 커널의 픽셀간 간격 비율은 결손영역이 포함되도록 설정하고 특징맵의 좌측 상단으로부터 우측 하단으로 한 칸씩 이동하며 콘볼루션 연산을 수행함으로 출력되는 특징맵을 역변환하여 결손이 보정된 출력영상을 생성하는 단계(S530);상기 출력영상을 상기 마스크 영상(M)과 기준영상(In)을 이용하여 보정영역과 비 보정영역으로 구분하고 각각 복수의 콘볼루션 레이어를 적용하여 학습하여, 학습된 보정영역의 영상과 비 보정영역의 영상에 대해 진위여부를 판단하는 단계(S540); 상기 진위여부에 따라 상기 출력영상 생성 및 진위여부 판단시 손실을 최소화하는 가중치를 산출하는 단계(S550);상기 산출된 가중치를 상기 출력영상 생성 및 진위여부 판단시 적용하여 아웃페인팅 학습모델을 생성하는 단계(S560); 를 포함하되,상기 결손이 발생된 입력영상의 특징맵을 추출하는 단계(S510) 내지 결손이 보정된 출력영상을 생성하는 단계(S530)를 기설정된 횟수까지 반복학습을 수행하되 손실함수를 최소화하는 가중치로 업데이트되며 학습을 수행하고,상기 출력영상의 진위여부를 판단하는 단계(S540)를 기설정된 횟수까지 반복학습하고, 진위 판단 후 진위 여부에 따라 출력영상 생성 및 진위 여부 판단시 손실을 경쟁적으로 최소화시키는 가중치를 산출하는 경쟁적 학습을 기설정된 횟수까지 반복 학습 후 최종 산출된 가중치를 적용하여 아웃페인팅 학습모델을 생성하는 것을 특징으로 하는 딥러닝기반 아웃페인팅 방법.