비디오 압축에서 신경망 파라미터 변경방법
Method for Changing Neural Network Parameter in Video Compression
특허 요약
본 실시예는 비디오 압축에서 신경망 파라미터 변경방법을 개시한다. 본 실시예에서, 영상 복호화 장치는 비트스트림으로부터 인루프 필터의 파라미터들을 복호화하되, 인루프 필터는 딥러닝 기반으로 사전에 트레이닝되고, 콘볼루션 레이어 및 활성화 함수를 포함한다. 영상 복호화 장치는 인루프 필터와 관련된 콘텐츠 적응적 파라미터를 획득한다. 영상 복호화 장치는 현재블록의 복원블록을 획득하되, 복원블록은 루마 블록 및 크로마 블록을 포함한다. 영상 복호화 장치는 루마 블록 및 크로마 블록에 기초하여 적층된 블록들을 생성한다. 영상 복호화 장치는 적층된 블록들을 인루프 필터에 입력하고, 콘텐츠 적응적 파라미터를 콘볼루션 레이어 또는 활성화 함수에 적용함으로써, 필터링을 수행한다.
청구항
번호청구항
1

영상 복호화 장치가 수행하는, 현재블록에 인루프 필터를 적용하는 방법에 있어서,비트스트림으로부터 상기 인루프 필터의 파라미터들을 복호화하는 단계, 상기 인루프 필터는 딥러닝 기반으로 사전에 트레이닝되고, 콘볼루션 레이어 및 활성화 함수를 포함함;상기 인루프 필터와 관련된 콘텐츠 적응적 파라미터를 획득하는 단계; 상기 현재블록의 복원블록을 획득하는 단계, 여기서, 상기 복원블록은 루마 블록 및 크로마 블록을 포함함;상기 루마 블록 및 상기 크로마 블록에 기초하여 적층된 블록들을 생성하는 단계; 및상기 적층된 블록들을 상기 인루프 필터에 입력하고, 상기 콘텐츠 적응적 파라미터를 상기 콘볼루션 레이어 또는 상기 활성화 함수에 적용함으로써, 필터링을 수행하는 단계를 포함하는, 방법.

2

제1항에 있어서, 상기 콘텐츠 적응적 파라미터를 획득하는 단계는, 콘텐츠 적응적 파라미터 후보들을 포함하는 리스트를 생성하는 단계;상기 비트스트림으로부터 상기 콘텐츠 적응적 파라미터 후보들 중 하나를 지시하는 인덱스를 복호화하는 단계; 및상기 인덱스에 따라 상기 리스트로부터 상기 콘텐츠 적응적 파라미터를 추출하는 단계를 포함하는, 방법.

3

제2항에 있어서, 상기 리스트를 생성하는 단계는,상기 복원블록, 슬라이스, 양자화 파라미터, 픽처, 픽처들의 그룹 중 하나 이상에 기초하여 상기 콘텐츠 적응적 파라미터 후보들을 생성하는, 방법.

4

제2항에 있어서, 상기 리스트를 생성하는 단계는,양자화 파라미터, 슬라이스 타입, 상기 복원블록 및 상기 현재블록의 예측블록 중 하나 이상을 신경망에 입력하여 출력을 생성하는 단계; 및상기 출력에 기초하여 상기 콘텐츠 적응적 파라미터 후보들을 생성하는 단계를 포함하는, 방법.

5

제1항에 있어서, 상기 필터링을 수행하는 단계는, 상기 콘텐츠 적응적 파라미터를 상기 콘볼루션 레이어의 출력에 적용하는 단계; 및상기 콘텐츠 적응적 파라미터가 적용된 출력을 상기 활성화 함수에 적용하는 단계를 포함하는, 방법.

6

제1항에 있어서, 상기 필터링을 수행하는 단계는, 상기 활성화 함수가 PReLU(parameterized rectified linear unit)인 경우, 상기 활성화 함수의 입력 값이 0보다 큰 경우, 상기 콘텐츠 적응적 파라미터를 상기 입력에 곱함으로써, 상기 활성화 함수의 출력을 생성하는, 방법.

7

영상 부호화 장치가 수행하는, 현재블록에 인루프 필터를 적용하는 방법에 있어서,상기 인루프 필터의 파라미터들을 획득하는 단계, 상기 인루프 필터는 딥러닝 기반으로 사전에 트레이닝되고, 콘볼루션 레이어 및 활성화 함수를 포함함;상기 인루프 필터와 관련된 콘텐츠 적응적 파라미터를 획득하는 단계; 상기 현재블록의 복원블록을 획득하는 단계, 여기서, 상기 복원블록은 루마 블록 및 크로마 블록을 포함함;상기 루마 블록 및 상기 크로마 블록에 기초하여 적층된 블록들을 생성하는 단계; 상기 적층된 블록들을 상기 인루프 필터에 입력하고, 상기 콘텐츠 적응적 파라미터를 상기 콘볼루션 레이어 또는 상기 활성화 함수에 적용함으로써, 필터링을 수행하는 단계; 및 상기 인루프 필터의 파라미터들 및 상기 콘텐츠 적응적 파라미터를 부호화하는 단계를 포함하는, 방법.

8

제8항에 있어서, 상기 콘텐츠 적응적 파라미터를 획득하는 단계는, 콘텐츠 적응적 파라미터 후보들을 포함하는 리스트를 생성하는 단계; 및율왜곡 최적화 측면에서 상기 리스트로부터 상기 콘텐츠 적응적 파라미터를 결정하는 단계를 포함하는, 방법.

9

제9항에 있어서, 상기 리스트를 생성하는 단계는,양자화 파라미터, 슬라이스 타입, 상기 복원블록 및 상기 현재블록의 예측블록 중 하나 이상을 신경망에 입력하여 출력을 생성하는 단계; 및상기 출력에 기초하여 상기 콘텐츠 적응적 파라미터 후보들을 생성하는 단계를 포함하는, 방법.

10

제9항에 있어서, 상기 콘텐츠 적응적 파라미터를 부호화하는 단계는,상기 리스트로부터 상기 콘텐츠 적응적 파라미터를 지시하는 인덱스를 생성하는 단계; 및상기 인덱스를 부호화하는 단계를 포함하는, 방법.

11

제8항에 있어서, 상기 필터링을 수행하는 단계는, 상기 콘텐츠 적응적 파라미터를 상기 콘볼루션 레이어의 출력에 적용하는 단계; 및상기 콘텐츠 적응적 파라미터가 적용된 출력을 상기 활성화 함수에 적용하는 단계를 포함하는, 방법.

12

제8항에 있어서, 상기 필터링을 수행하는 단계는, 상기 활성화 함수가 PReLU(parameterized rectified linear unit)이고 상기 활성화 함수의 입력 값이 0보다 큰 경우, 상기 콘텐츠 적응적 파라미터를 상기 입력에 곱함으로써, 상기 활성화 함수의 출력을 생성하는, 방법.

13

영상 복호화 장치에게 비디오 데이터를 제공하는 방법에 있어서, 상기 비디오 데이터를 비트스트림으로 부호화하는 단계; 및상기 비트스트림을 상기 영상 복호화 장치로 전달하는 단계를 포함하고, 상기 비디오 데이터를 부호화하는 단계는, 인루프 필터의 파라미터들을 획득하는 단계, 상기 인루프 필터는 딥러닝 기반으로 사전에 트레이닝되고, 콘볼루션 레이어 및 활성화 함수를 포함함;상기 인루프 필터와 관련된 콘텐츠 적응적 파라미터를 획득하는 단계; 현재블록의 복원블록을 획득하는 단계, 여기서, 상기 복원블록은 루마 블록 및 크로마 블록을 포함함;상기 루마 블록 및 상기 크로마 블록에 기초하여 적층된 블록들을 생성하는 단계; 상기 적층된 블록들을 상기 인루프 필터에 입력하고, 상기 콘텐츠 적응적 파라미터를 상기 콘볼루션 레이어 또는 상기 활성화 함수에 적용함으로써, 필터링을 수행하는 단계; 및 상기 인루프 필터의 파라미터들 및 상기 콘텐츠 적응적 파라미터를 부호화하는 단계를 포함하는, 방법.