청구항 11에 있어서,상기 디블러링 네트워크는, 상기 연속적인 블러 프레임들의 특징을 변환한 제1 변환 결과와 상기 픽셀 볼륨의 특징을 변환한 제2 변환 결과를 연결(concatenation)하여 컨볼루션 네트워크에 입력하는 연결 네트워크를 구비하는, 픽셀 볼륨 기반의 기계학습 장치.

컴퓨터 판독 가능 매체에 기록되거나 메모리(memory)에 저장된 프로그램 명령을 수행하는 컴퓨터 수단에 의해 구현되고 비디오 화질 개선을 위한 픽셀 볼륨 기반의 기계학습 방법으로서,상기 컴퓨터 수단의 픽셀 볼륨 건설부에 의해, 시간적으로 인접한 타겟 비디오 프레임을 현재 시간대의 입력 비디오 프레임으로 정합하기 위한 픽셀 볼륨을 생성하는 단계;상기 입력 비디오 프레임과 상기 픽셀 볼륨을 상기 픽셀 볼륨 건설부에 연결된 디블러링 네트워크의 컨볼루션 신경망에 입력하여 보정 이미지를 생성하는 단계; 및상기 컴퓨터 수단의 옵티마이저를 통해, 상기 보정 이미지로 계산된 컨볼루션 신경망의 손실 함수에 기초하여 상기 컨볼루션 신경망의 가중치를 업데이트하도록 기계 학습을 수행하는 단계;를 포함하며,상기 픽셀 볼륨을 생성하는 단계는, 상기 타겟 비디오 프레임과 상기 입력 비디오 프레임 사이의 모션 또는 옵티컬 플로우를 예측하고, 공간 간섭성을 이용한 인접한 픽셀의 모션을 이용하여 상기 픽셀 볼륨 내의 각 픽셀 위치에 대해 상기 타겟 비디오 프레임으로부터 다수의 매칭 후보 픽셀을 생성하는 일련의 과정을 포함하는 픽셀 볼륨 기반의 기계학습 방법.

삭제

청구항 1에 있어서,상기 픽셀 볼륨을 생성하는 단계는, 상기 타겟 비디오 프레임으로서 복원된 이전 시간대의 비디오 프레임인 이전 블러 프레임의 복원 결과를 사용하는, 픽셀 볼륨 기반의 기계학습 방법.

청구항 1에 있어서,상기 기계 학습을 수행하는 단계는, 상기 컴퓨터 수단에 의해, 상기 보정 이미지의 픽셀 값과 상기 타겟 비디오 프레임에 대응하는 선명한 교사 비디오 프레임의 픽셀 값 차이의 절대값 혹은 제곱값의 합을 최소화하도록 수행되는, 픽셀 볼륨 기반의 기계학습 방법.

컴퓨터 판독 가능 매체에 기록되거나 메모리(memory)에 저장된 프로그램 명령을 수행하는 컴퓨터 수단에 의해 구현되고 비디오 화질 개선을 위한 픽셀 볼륨 기반의 기계학습 방법으로서,상기 컴퓨터 수단에 의해, 현재 블러 프레임을 참조하여 이전 블러 프레임의 복원 결과 프레임에 대한 모션을 추정하는 단계;상기 컴퓨터 수단에 의해, 상기 모션의 추정 결과를 토대로 상기 현재 블러 프레임의 모든 픽셀에 대하여 상기 복원 결과 프레임 상에서 각각 매칭되는 픽셀 후보들을 모아 쌓은 픽셀 볼륨을 생성하는 단계; 및상기 컴퓨터 수단에 의해, 상기 픽셀 볼륨에 기초하여 상기 현재 블러 프레임을 포함한 연속적인 블러 프레임들에 대해 딥러닝 기반의 디블러링을 수행하는 단계;를 포함하는 픽셀 볼륨 기반의 기계학습 방법.

청구항 5에 있어서,상기 픽셀 볼륨을 생성하는 단계는, 상기 현재 블러 프레임에 대응하는 레퍼런스 프레임 내 픽셀로서 상기 현재 블러 프레임 상의 특정 사이즈의 공간 윈도우 내에 위치하는 각 픽셀을 옵티컬 플로우에 따라 상기 복원 결과 프레임에 대응하는 타겟 프레임 내의 픽셀로 매칭하고 매칭된 픽셀을 매칭 픽셀로서 모으고, 축 방향 혹은 채널 방향으로 상기 각 픽셀에 대하여 쌓은 대응 매칭 픽셀들로 이루어진 픽셀 볼륨을 생성하는, 픽셀 볼륨 기반의 기계학습 방법.

청구항 5에 있어서,상기 디블러링을 수행하는 단계는, 상기 연속적인 블러 프레임들의 특징을 변환한 제1 변환 결과와 상기 픽셀 볼륨의 특징을 변환한 제2 변환 결과를 연결(concatenation)하여 컨볼루션 네트워크에 입력하는 것을 포함하는, 픽셀 볼륨 기반의 기계학습 방법.

청구항 7에 있어서,상기 디블러링을 수행하는 단계는, 컨볼루션 네트워크의 디블러링 결과에 상기 현재 블러 프레임을 엘리먼트-와이즈 합(element-wise sum)하여 디블러링 결과로서 출력하는 것을 포함하는, 픽셀 볼륨 기반의 기계학습 방법.

청구항 5에 있어서,상기 컴퓨터 수단에 의해, 상기 디블러링을 통해 얻은 디블러링 결과 프레임과 미리 준비된 선명한 교사 프레임 사이의 평균절대오차 또는 평균제곱오차로 계산된 손실 함수에 기초하여 딥러닝 네트워크의 가중치를 업데이트하는 단계를 더 포함하는 픽셀 볼륨 기반의 기계학습 방법.

청구항 5에 있어서,상기 컴퓨터 수단에 의해, 상기 디블러링을 통해 얻은 디블러링 결과에 기초하여 상기 모션의 추정 결과를 생성하는 단계와 상기 픽셀 볼륨을 생성하는 단계에서 사용할 상기 이전 블러 프레임의 복원 결과 프레임을 제공하는 단계를 더 포함하는 픽셀 볼륨 기반의 기계학습 방법.

비디오 화질 개선을 위한 픽셀 볼륨 기반의 기계학습 장치로서,현재 블러 프레임을 참조하여 이전 블러 프레임의 복원 결과 프레임에 대한 모션을 추정하는 모션 추정부;상기 모션의 추정 결과를 토대로 상기 현재 블러 프레임의 모든 픽셀에 대하여 상기 복원 결과 프레임 상에서 각각 매칭되는 픽셀 후보들을 모아 쌓은 픽셀 볼륨을 생성하는 픽셀 볼륨 건설부; 및상기 픽셀 볼륨에 기초하여 상기 현재 블러 프레임을 포함한 연속적인 블러 프레임들에 대해 딥러닝 기반의 디블러링을 수행하는 디블러링 네트워크;를 포함하는 픽셀 볼륨 기반의 기계학습 장치.

청구항 11에 있어서,상기 픽셀 볼륨 건설부는, 상기 현재 블러 프레임에 대응하는 레퍼런스 프레임 내 픽셀로서 상기 현재 블러 프레임 상의 특정 사이즈의 공간 윈도우 내에 위치하는 각 픽셀을 옵티컬 플로우에 따라 상기 복원 결과 프레임에 대응하는 타겟 프레임 내의 픽셀로 매칭하고 매칭된 픽셀을 픽셀 후보로서 모으고, 축 방향 혹은 채널 방향으로 상기 각 픽셀에 대하여 쌓은 대응 매칭 픽셀들로 이루어진 픽셀 볼륨을 생성하는, 픽셀 볼륨 기반의 기계학습 장치.

청구항 13에 있어서,상기 디블러링 네트워크는, 상기 컨볼루션 네트워크의 디블러링 결과에 상기 현재 블러 프레임을 엘리먼트-와이즈 합(element-wise sum)하여 디블러링 결과로서 출력하는 출력부를 더 구비하는, 픽셀 볼륨 기반의 기계학습 장치.

청구항 11에 있어서,상기 디블러링을 통해 얻은 디블러링 결과 프레임과 미리 준비된 선명한 교사 프레임 사이의 평균절대오차 또는 평균제곱오차로 계산된 손실 함수에 기초하여 딥러닝 네트워크의 가중치를 업데이트하는 옵티마이저를 더 포함하는 픽셀 볼륨 기반의 기계학습 장치.

청구항 11에 있어서,상기 디블러링을 통해 얻은 디블러링 결과에 기초하여 상기 모션의 추정 결과와 상기 이전 블러 프레임의 복원 결과 프레임을 상기 픽셀 볼륨 건설부에 제공하는 픽셀 볼륨 관리부를 더 포함하는 픽셀 볼륨 기반의 기계학습 장치.

청구항 16에 있어서,상기 픽셀 볼륨 관리부와 상기 픽셀 볼륨 건설부에 연결되고 상기 모션의 추정 결과와 상기 이전 블러 프레임의 복원 결과 프레임을 저장하는 저장부를 더 포함하는 픽셀 볼륨 기반의 기계학습 장치.