임의의 시점의 제1 해상도의 초광각 비디오 프레임, 상기 임의의 시점을 기준으로 직전 시점 및 직후 시점의 초광각 비디오 프레임들, 및 상기 임의의 시점의 참조를 위한 광각 비디오 프레임을 양방향 신경망에 입력하여 상기 제1 해상도보다 해상도가 향상된 제2 해상도를 갖는 상기 임의의 시점의 초광각 비디오 프레임을 생성하는 단계를 포함하며, 상기 생성하는 단계는 상기 임의의 시점을 기준으로 과거 시점의 누적된 정보, 및 미래 시점의 누적된 정보를 이용하여 실행되고,상기 양방향 신경망은 순방향 셀과 역방향 셀을 포함하며,상기 순방향 셀을 계산하는 단계는, 상기 순방향 셀이 상기 과거 시점의 누적된 정보인 순방향 전파 중간 피쳐, 및 순방향 전파 컨피던스 맵을 전달받고 상기 임의의 시점, 상기 직전 시점, 및 상기 직후 시점의 상기 제1 해상도의 초광각 비디오 프레임들, 및 상기 임의의 시점의 광각 비디오 프레임을 입력 받아 상기 임의의 시점의 순방향 전파 중간 피쳐, 및 순방향 전파 컨피던스 맵을 계산하여 출력하는 단계이며, 그리고상기 역방향 셀을 계산하는 단계는,상기 역방향 셀이 상기 미래 시점의 누적된 정보인 역방향 전파 중간 피쳐, 및 역방향 전파 컨피던스 맵을 전달받고 상기 임의의 시점, 상기 직전 시점, 및 상기 직후 시점의 초광각 비디오 프레임들, 및 상기 임의의 시점의 광각 비디오 프레임을 입력 받아 상기 임의의 시점의 역방향 전파 중간 피쳐, 및 역방향 전파 컨피던스 맵을 계산하여 출력하는 단계인,멀티 카메라 비디오를 활용한 초해상도 동영상 생성 방법.

제1항에 있어서, 상기 양방향 신경망은,미리 결정된 배수만큼 다운 샘플링된 상기 임의의 시점, 상기 직전 시점, 및 상기 직후 시점의 초광각 비디오 프레임들, 및 상기 임의의 시점의 광각 비디오 프레임을 상기 양방향 신경망에 입력하여 상기 제2 해상도를 갖는 상기 임의의 시점의 초광각 비디오 프레임을 생성하도록 상기 양방향 신경망을 사전 지도학습 하는 단계; 및 상기 임의의 시점, 상기 직전 시점, 및 상기 직후 시점의 상기 제1 해상도의 초광각 비디오 프레임들, 및 상기 임의의 시점의 광각 비디오 프레임을 상기 지도학습 된 양방향 신경망에 입력하여 상기 제2 해상도를 갖는 상기 임의의 시점의 초광각 비디오 프레임을 생성하도록 상기 지도학습 된 양방향 신경망을 적응 지도학습 하는 단계;를 포함하는 2단계 지도학습 방법에 의해 학습된 것인, 멀티 카메라 비디오를 활용한 초해상도 동영상 생성 방법.

제2항에 있어서, 상기 양방향 신경망을 사전 지도학습 하는 단계는, 상기 임의의 시점의 상기 광각 비디오 프레임을 제2 미리 결정된 배수만큼 다운 샘플링하여 생성한, 다운 샘플링된 광각 비디오 프레임을 제2 정답 레이블로 하여, 상기 양방향 신경망이 상기 미리 결정된 배수만큼 다운 샘플링된 상기 임의의 시점, 상기 직전 시점, 및 상기 직후 시점의 초광각 비디오 프레임들, 및 상기 임의의 시점의 광각 비디오 프레임을 입력 받아 상기 제2 해상도를 갖는 초광각 비디오 프레임을 출력하도록 학습하는 단계이며,상기 사전 지도학습 하는 단계는,상기 양방향 신경망이 출력하는 상기 임의의 시점의 초광각 비디오 프레임을 상기 제2 정답 레이블과 비교하여 제2 손실함수 값을 생성하는 단계; 및상기 제2 손실함수 값을 상기 양방향 신경망에 제공하는 단계;를 포함하는,멀티 카메라 비디오를 활용한 초해상도 동영상 생성 방법.

제3항에 있어서, 상기 양방향 신경망을 사전 지도학습 하는 단계는, 상기 임의의 시점의 초광각 비디오 프레임을 제1 정답 레이블로 하여, 상기 양방향 신경망이 상기 미리 결정된 배수만큼 다운 샘플링된 상기 임의의 시점, 상기 직전 시점, 및 상기 직후 시점의 초광각 비디오 프레임들, 및 상기 임의의 시점의 상기 광각 비디오 프레임을 입력 받아 상기 제2 해상도를 갖는 초광각 비디오 프레임을 출력하도록 학습하는 단계를 더 포함하며,상기 사전 지도학습 하는 단계는,상기 양방향 신경망이 출력하는 상기 임의의 시점의 초광각 비디오 프레임을 상기 제1 정답 레이블과 비교하여 제1 손실함수 값을 생성하는 단계; 및상기 제1 손실함수 값을 상기 양방향 신경망에 제공하는 단계;를 더 포함하는,멀티 카메라 비디오를 활용한 초해상도 동영상 생성 방법.

제2항에 있어서, 상기 지도학습 된 양방향 신경망을 적응 지도학습 하는 단계는,상기 임의의 시점의 상기 제1 해상도의 초광각 비디오 프레임을 제3 정답 레이블로 하여,상기 지도학습 된 양방향 신경망이 상기 임의의 시점, 상기 직전 시점, 및 상기 직후 시점의 초광각 비디오 프레임들, 및 상기 임의의 시점의 상기 광각 비디오 프레임을 입력 받아 상기 제2 해상도를 갖는 초광각 비디오 프레임을 출력하도록 학습하는 단계이며,상기 적응 지도학습 하는 단계는,상기 지도학습 된 양방향 신경망이 출력하는 상기 임의의 시점의 초광각 비디오 프레임을 상기 미리 결정된 배수만큼 다운 샘플링하는 단계; 상기 다운 샘플링된 초광각 비디오 프레임을 상기 제3 정답 레이블과 비교하여 제3 손실함수 값을 생성하는 단계; 및상기 제3 손실함수 값을 상기 양방향 신경망에 제공하는 단계;를 포함하는,멀티 카메라 비디오를 활용한 초해상도 동영상 생성 방법.

제5항에 있어서, 상기 지도학습 된 양방향 신경망을 적응 지도학습 하는 단계는,상기 임의의 시점의 망원 비디오 프레임을 제4 정답 레이블로 하여,상기 지도학습 된 양방향 신경망이 상기 임의의 시점, 상기 직전 시점, 및 상기 직후 시점의 초광각 비디오 프레임들, 및 상기 임의의 시점의 광각 비디오 프레임을 입력 받아 상기 제2 해상도를 갖는 초광각 비디오 프레임을 출력하도록 학습하는 단계를 더 포함하며,상기 적응 지도학습 하는 단계는,상기 출력된 상기 임의의 시점의 초광각 비디오 프레임을 상기 제4 정답 레이블과 비교하여 제4 손실함수 값을 생성하는 단계; 및상기 제4 손실함수 값을 상기 양방향 신경망에 제공하는 단계;를 더 포함하는,멀티 카메라 비디오를 활용한 초해상도 동영상 생성 방법.

삭제

제1항에 있어서, 상기 양방향 신경망은 업샘플링 모듈을 더 포함하며,상기 업샘플링 모듈이 상기 제2 해상도를 갖는 초광각 비디오 프레임을 생성하는 단계는,상기 업샘플링 모듈이 상기 임의의 시점의 순방향 전파 중간 피쳐, 상기 순방향 전파 컨피던스 맵, 상기 역방향 전파 중간 피쳐, 및 상기 역방향 전파 컨피던스 맵을 입력 받아 상기 제2 해상도를 갖는 초광각 비디오 프레임을 생성하는 단계인,멀티 카메라 비디오를 활용한 초해상도 동영상 생성 방법.

제1항에 있어서, 상기 과거 시점의 누적된 정보 중 순방향 전파 중간 피쳐, 및 상기 미래 시점의 누적된 정보 중 역방향 전파 중간 피쳐는 각각 상기 임의의 시점 이전 및 이후의 모든 시점들의 순방향 셀 및 역방향 셀에서 축적되어온 값이며, 상기 순방향 전파 중간 피쳐, 및 역방향 전파 중간 피쳐에는 각 시점의 상기 제1 해상도의 초광각 비디오 프레임에 대한 초광각 피쳐, 및 각 시점의 상기 광각 비디오 프레임에 대한 광각 피쳐가 융합 및 축적되어 있는, 멀티 카메라 비디오를 활용한 초해상도 동영상 생성 방법.

제1항에 있어서, 상기 과거 시점의 누적된 정보 중 순방향 전파 컨피던스 맵, 및 상기 미래 시점의 누적된 정보 중 역방향 전파 컨피던스 맵은 각각 상기 임의의 시점 이전 및 이후의 모든 시점들의 순방향 셀 및 역방향 셀에서 축적되어온 값인,멀티 카메라 비디오를 활용한 초해상도 동영상 생성 방법.

프로세서; 및 양방향 신경망;을 포함하며,상기 프로세서는, 임의의 시점의 제1 해상도의 초광각 비디오 프레임, 상기임의의 시점을 기준으로 직전 시점 및 직후 시점의 초광각 비디오 프레임들, 및 상기 임의의 시점의 참조를 위한 광각 비디오 프레임을 상기 양방향 신경망에 입력하여 상기 제1 해상도보다 해상도가 향상된 제2 해상도를 갖는 상기 임의의 시점의 초광각 비디오 프레임을 생성하고,상기 프로세서가 상기 해상도가 향상된 초광각 비디오 프레임을 생성할 때, 상기 임의의 시점을 기준으로 과거 시점의 누적된 정보, 및 미래 시점의 누적된 정보를 이용하여 생성하며, 상기 양방향 신경망은 순방향 셀과 역방향 셀을 포함하며,상기 프로세서는, 상기 순방향 셀에 상기 과거 시점의 누적된 정보인 순방향 전파 중간 피쳐, 및 순방향 전파 컨피던스 맵을 입력하고 상기 임의의 시점, 상기 직전 시점, 및 상기 직후 시점의 상기 제1 해상도의 초광각 비디오 프레임들, 및 상기 임의의 시점의 광각 비디오 프레임을 입력하여, 상기 순방향 셀이 상기 임의의 시점의 순방향 전파 중간 피쳐, 및 순방향 전파 컨피던스 맵을 계산하여 출력하도록 하며, 그리고상기 프로세서는, 상기 역방향 셀에 상기 미래 시점의 누적된 정보인 역방향 전파 중간 피쳐, 및 역방향 전파 컨피던스 맵을 입력하고 상기 임의의 시점, 상기 직전 시점, 및 상기 직후 시점의 초광각 비디오 프레임들, 및 상기 임의의 시점의 광각 비디오 프레임을 입력하여, 상기 역방향 셀이 상기 임의의 시점의 역방향 전파 중간 피쳐, 및 역방향 전파 컨피던스 맵을 계산하여 출력하도록 하는,멀티 카메라 비디오를 활용한 초해상도 동영상 생성 장치.

제11항에 있어서, 상기 프로세서는, 미리 결정된 배수만큼 다운 샘플링된 상기 임의의 시점, 상기 직전 시점, 및 상기 직후 시점의 초광각 비디오 프레임들, 및 상기 임의의 시점의 광각 비디오 프레임을 상기 양방향 신경망에 입력하여 상기 제2 해상도를 갖는 상기 임의의 시점의 초광각 비디오 프레임을 생성하도록 상기 양방향 신경망을 사전 지도학습 하고, 그리고상기 임의의 시점, 상기 직전 시점, 및 상기 직후 시점의 상기 제1 해상도의 초광각 비디오 프레임들, 및 상기 임의의 시점의 광각 비디오 프레임을 상기 지도학습 된 양방향 신경망에 입력하여 상기 제2 해상도를 갖는 상기 임의의 시점의 초광각 비디오 프레임을 생성하도록 상기 지도학습 된 양방향 신경망을 적응 지도학습하는,멀티 카메라 비디오를 활용한 초해상도 동영상 생성 장치.

제12항에 있어서, 상기 양방향 신경망의 사전 지도학습은,상기 프로세서가, 상기 임의의 시점의 상기 광각 비디오 프레임을 제2 미리 결정된 배수만큼 다운 샘플링하여 생성한, 다운 샘플링된 광각 비디오 프레임을 제2 정답 레이블로 하여, 상기 양방향 신경망이 상기 미리 결정된 배수만큼 다운 샘플링된 상기 임의의 시점, 상기 직전 시점, 및 상기 직후 시점의 초광각 비디오 프레임들, 및 상기 임의의 시점의 광각 비디오 프레임을 입력 받아 상기 제2 해상도를 갖는 초광각 비디오 프레임을 출력하도록 하는 학습이며,상기 프로세서가, 상기 양방향 신경망을 사전 지도학습 할 때,상기 양방향 신경망이 출력하는 상기 임의의 시점의 초광각 비디오 프레임을 상기 제2 정답 레이블과 비교하여 제2 손실함수 값을 생성하고, 그리고상기 제2 손실함수 값을 상기 양방향 신경망에 제공하는,멀티 카메라 비디오를 활용한 초해상도 동영상 생성 장치.

제13항에 있어서, 상기 양방향 신경망의 사전 지도학습은, 상기 프로세서가, 상기 임의의 시점의 초광각 비디오 프레임을 제1 정답 레이블로 하여, 상기 양방향 신경망이 상기 미리 결정된 배수만큼 다운 샘플링된 상기 임의의 시점, 상기 직전 시점, 및 상기 직후 시점의 초광각 비디오 프레임들, 및 상기 임의의 시점의 광각 비디오 프레임을 입력 받아 상기 제2 해상도를 갖는 초광각 비디오 프레임을 출력하도록 하는 학습을 포함하며,상기 프로세서는, 상기 사전 지도학습 할 때,상기 양방향 신경망이 출력하는 상기 임의의 시점의 초광각 비디오 프레임을 상기 제1 정답 레이블과 비교하여 제1 손실함수 값을 생성하고, 그리고상기 제1 손실함수 값을 상기 양방향 신경망에 제공하는,멀티 카메라 비디오를 활용한 초해상도 동영상 생성 장치.

제12항에 있어서, 상기 지도학습 된 양방향 신경망의 적응 지도학습은,상기 프로세서가, 상기 임의의 시점의 상기 제1 해상도의 초광각 비디오 프레임을 제3 정답 레이블로 하여, 상기 지도학습 된 양방향 신경망이 상기 임의의 시점, 상기 직전 시점, 및 상기 직후 시점의 초광각 비디오 프레임들, 및 상기 임의의 시점의 광각 비디오 프레임을 입력 받아 상기 제2 해상도를 갖는 초광각 비디오 프레임을 출력하도록 하는 학습이며, 상기 프로세서가, 상기 지도학습 된 양방향 신경망을 적응 지도학습 할 때,상기 지도학습 된 양방향 신경망이 출력하는 상기 임의의 시점의 초광각 비디오 프레임을 상기 미리 결정된 배수만큼 다운샘플링하고,상기 다운샘플링된 초광각 비디오 프레임을 상기 제3 정답 레이블과 비교하여 제3 손실함수 값을 생성하고, 그리고상기 제3 손실함수 값을 상기 양방향 신경망에 제공하는,멀티 카메라 비디오를 활용한 초해상도 동영상 생성 장치.

제15항에 있어서, 상기 지도학습 된 양방향 신경망의 적응 지도학습은,상기 프로세서가, 상기 임의의 시점의 망원 비디오 프레임을 제4 정답 레이블로 하여, 상기 지도학습 된 양방향 신경망이 상기 임의의 시점, 상기 직전 시점, 및 상기 직후 시점의 초광각 비디오 프레임들, 및 상기 임의의 시점의 광각 비디오 프레임을 입력 받아 상기 제2 해상도를 갖는 초광각 비디오 프레임을 출력하도록 하는 학습을 포함하며,상기 프로세서가, 상기 적응 지도학습 할 때,상기 출력된 상기 임의의 시점의 초광각 비디오 프레임을 상기 제4 정답 레이블과 비교하여 제4 손실함수 값을 생성하고, 그리고 상기 제4 손실함수 값을 상기 양방향 신경망에 제공하는,멀티 카메라 비디오를 활용한 초해상도 동영상 생성 장치.

삭제

제11항에 있어서, 상기 양방향 신경망은 업샘플링 모듈을 더 포함하며,상기 프로세서가, 상기 업샘플링 모듈을 제어하여, 상기 제2 해상도를 갖는 초광각 비디오 프레임을 생성할 때에,상기 업샘플링 모듈이 상기 임의의 시점의 순방향 전파 중간 피쳐, 상기 순방향 전파 컨피던스 맵, 상기 역방향 전파 중간 피쳐, 및 상기 역방향 전파 컨피던스 맵을 입력 받아 상기 제2 해상도를 갖는 초광각 비디오 프레임을 생성하도록 하는,멀티 카메라 비디오를 활용한 초해상도 동영상 생성 장치.

제11항에 있어서, 상기 과거 시점의 누적된 정보 중 순방향 전파 중간 피쳐, 및 상기 미래 시점의 누적된 정보 중 역방향 전파 중간 피쳐는 각각 상기 임의의 시점 이전 및 이후의 모든 시점들의 순방향 셀 및 역방향 셀에서 축적되어온 값이며, 상기 순방향 전파 중간 피쳐, 및 역방향 전파 중간 피쳐에는 각 시점의 상기 제1 해상도의 초광각 비디오 프레임에 대한 초광각 피쳐, 및 각 시점의 상기 광각 비디오 프레임에 대한 광각 피쳐가 융합 및 축적되어 있는, 멀티 카메라 비디오를 활용한 초해상도 동영상 생성 장치.

제11항에 있어서, 상기 과거 시점의 누적된 정보 중 순방향 전파 컨피던스 맵, 및 상기 미래 시점의 누적된 정보 중 역방향 전파 컨피던스 맵은 각각 상기 임의의 시점 이전 및 이후의 모든 시점들의 순방향 셀 및 역방향 셀에서 축적되어온 값인,멀티 카메라 비디오를 활용한 초해상도 동영상 생성 장치.