특징맵 압축을 이용한 이미지 처리 방법 및 장치
A METHOD AND APPARATUS OF IMAGE PROCESSING USING FEATURE MAP COMPRESSION
특허 요약
라인 단위 연산을 이용한 이미지 처리 방법 및 장치가 개시된다. 일 실시예에 따른 이미지 처리 장치는, 이미지를 수신하는 수신기와, 상기 이미지에 기초하여 컨벌루션 연산을 수행함으로써 특징맵을 생성하는 제1 컨벌루션 연산기와, 상기 특징맵을 적어도 하나의 라인 단위로 압축하는 컴프레서와, 라인 단위로 압축된 특징맵을 복원하는 디컴프레서를 포함한다.
청구항
번호청구항
12

제1항에 있어서,컨벌루션 연산에 사용되는 파라미터를 저장하는 가중치 버퍼를 더 포함하는 이미지 처리 장치.

1

이미지를 수신하는 수신기;상기 이미지에 기초하여 컨벌루션 연산을 수행함으로써 특징맵을 생성하는 제1 컨벌루션 연산기;상기 특징맵을 적어도 하나의 라인 단위로 압축하는 컴프레서; 및라인 단위로 압축된 특징맵을 복원하는 디컴프레서를 포함하고,상기 라인 단위는 1×n의 블록 크기를 가지고, n은 2 이상의 정수인 데이터 단위를 포함하는 이미지 처리 장치.

2

제1항에 있어서,상기 이미지를 라인 단위의 이미지 라인으로 출력하는 적어도 하나의 제1 라인 버퍼를 더 포함하는 이미지 처리 장치.

3

제1항에 있어서,상기 라인 단위로 압축된 특징맵을 저장하는 적어도 하나의 제2 라인 버퍼를 더 포함하는 이미지 처리 장치.

4

제1항에 있어서,상기 제1 컨벌루션 연산기는,잔차 신호를 학습하여 출력하도록 하는 잔차 블록(Residual Block) 내에 구현되는이미지 처리 장치.

5

제1항에 있어서,상기 제1 컨벌루션 연산기는,1-D(1-dimensional) 컨벌루션 연산을 수행하는 적어도 하나의 1-D 컨벌루션 연산기를 포함하는 이미지 처리 장치.

6

제1항에 있어서,상기 제1 컨벌루션 연산기는,뎁스 와이즈(depth-wise) 컨벌루션 연산기; 및상기 뎁스 와이즈 컨벌루션 연산기와 직접적으로 연결된 포인트 와이즈(point-wise) 컨벌루션 연산기를 포함하는 이미지 처리 장치.

7

제1항에 있어서,상기 컴프레서는,상기 특징맵의 너비(width), 높이(height) 및 깊이(depth) 방향 중 적어도 하나의 방향으로 상기 특징맵을 압축하는이미지 처리 장치.

8

제1항에 있어서,복원된 압축된 특징맵에 기초하여 컨벌루션 연산을 수행하는 제2 컨벌루션 연산기를 더 포함하는 이미지 처리 장치.

9

제8항에 있어서,상기 제2 컨벌루션 연산기는,2-D(2-dimensional) 컨벌루션 연산을 수행하는 적어도 하나의 2-D 컨벌루션 연산기를 포함하는 이미지 처리 장치.

10

제8항에 있어서,상기 제2 컨벌루션 연산기는,뎁스 와이즈(depth-wise) 컨벌루션 연산기; 및상기 뎁스 와이즈 컨벌루션 연산기와 직접적으로 연결된 포인트 와이즈(point-wise) 컨벌루션 연산기를 포함하는 이미지 처리 장치.

11

제1항에 있어서,적어도 하나의 컨벌루션 연산 결과를 양자화하는 양자화기를 더 포함하는 이미지 처리 장치.

13

이미지를 수신하는 단계;상기 이미지에 기초하여 제1 컨벌루션 연산을 수행함으로써 특징맵을 생성하는 단계;상기 특징맵을 적어도 하나의 라인 단위로 압축하는 단계; 및압축된 특징맵을 복원하는 단계를 포함하고,상기 라인 단위는 1×n의 블록 크기를 가지고, n은 2 이상의 정수인 데이터 단위를 포함하는 이미지 처리 방법.

14

제13항에 있어서,상기 이미지를 라인 단위인 적어도 하나의 이미지 라인으로 출력하는 단계를 더 포함하는 이미지 처리 방법.

15

제13항에 있어서,적어도 하나의 라인 단위로 압축된 특징맵을 저장하는 단계를 더 포함하는 이미지 처리 방법.

16

제13항에 있어서,상기 제1 컨벌루션 연산은,잔차 신호를 학습하여 출력하도록 하는 잔차 블록(Residual Block) 내에서 수행되는이미지 처리 방법.

17

제13항에 있어서,상기 생성하는 단계는,적어도 한 번의 1-D(1-dimensional) 컨벌루션 연산을 수행하는 단계를 포함하는 이미지 처리 방법.

18

제13항에 있어서,상기 생성하는 단계는,뎁스 와이즈(depth-wise) 컨벌루션 연산을 수행하는 단계; 및상기 뎁스 와이즈 컨벌루션 연산 결과를 직접적으로 포인트 와이즈(point-wise) 컨벌루션 연산하는 단계를 포함하는 이미지 처리 방법.

19

제13항에 있어서,상기 압축하는 단계는,상기 특징맵의 너비(width), 높이(height) 및 깊이(depth) 방향 중 적어도 하나의 방향으로 상기 특징맵을 압축하는 단계를 포함하는 이미지 처리 방법.

20

제13항에 있어서,복원된 압축된 특징맵에 기초하여 제2 컨벌루션 연산을 수행하는 단계를 더 포함하는 이미지 처리 방법.

21

제20항에 있어서,상기 수행하는 단계는,적어도 한 번의 2-D(2-dimensional) 컨벌루션 연산을 수행하는 단계를 포함하는 이미지 처리 방법.

22

제20항에 있어서,상기 수행하는 단계는,뎁스 와이즈(depth-wise) 컨벌루션 연산을 수행하는 단계; 및상기 뎁스 와이즈 컨벌루션 연산 결과를 직접적으로 포인트 와이즈(point-wise) 컨벌루션 연산하는 단계를 포함하는 이미지 처리 방법.

23

제13항에 있어서,적어도 하나의 컨벌루션 연산 결과를 양자화하는 단계를 더 포함하는 이미지 처리 방법.

24

제13항에 있어서,컨벌루션 연산에 사용되는 파라미터를 저장하는 단계를 더 포함하는 이미지 처리 방법.