이미지 파이프라인 처리 방법 및 장치
A METHOD AND APPARATUS OF IMAGE PIPELINE PROCESSING
특허 요약
라인 단위 연산을 이용한 이미지 처리 방법 및 장치가 개시된다. 일 실시예에 따른 이미지 처리 장치는, 이미지를 수신하는 수신기와, 상기 이미지를 라인 단위의 이미지 라인으로 출력하는 적어도 하나의 제1 라인 버퍼와, 상기 제1 라인 버퍼의 출력에 기초하여 컨벌루션 연산을 수행함으로써 특징맵을 생성하는 제1 컨벌루션 연산기와, 상기 제1 컨벌루션 연산기의 출력을 적어도 하나의 라인 단위로 저장하고, 상기 적어도 하나의 라인 단위로 저장된 특징맵을 2 차원 형태로 출력하도록 처리하는 특징맵 처리기를 포함하고, 적어도 하나의 컨벌루션 연산은 파이프라인(pipe-line) 형태로 동작한다.
청구항
번호청구항
23

제13항에 있어서,적어도 하나의 컨벌루션 연산 결과를 양자화하는 단계를 더 포함하는 이미지 처리 방법.

24

제13항에 있어서,컨벌루션 연산에 사용되는 파라미터를 저장하는 단계를 더 포함하는 이미지 처리 방법.

1

이미지를 수신하는 수신기;상기 이미지를 라인 단위의 이미지 라인으로 출력하는 적어도 하나의 제1 라인 버퍼;상기 제1 라인 버퍼의 출력에 기초하여 컨벌루션 연산을 수행함으로써 특징맵을 생성하는 제1 컨벌루션 연산기; 및상기 제1 컨벌루션 연산기의 출력을 적어도 하나의 라인 단위로 저장하고, 상기 적어도 하나의 라인 단위로 저장된 특징맵을 2 차원 형태로 출력하도록 처리하는 특징맵 처리기를 포함하고,적어도 하나의 컨벌루션 연산은 파이프라인(pipe-line) 형태로 동작하고,상기 라인 단위는 1×n의 블록 크기를 가지고, n은 2 이상의 정수인 데이터 단위를 포함하는 이미지 처리 장치.

2

제1항에 있어서,상기 제1 컨벌루션 연산기는,잔차 신호를 학습하여 출력하도록 하는 잔차 블록(Residual Block) 내에 구현되는이미지 처리 장치.

3

제1항에 있어서,상기 제1 컨벌루션 연산기는,1-D(1-dimensional) 컨벌루션 연산을 수행하는 적어도 하나의 1-D 컨벌루션 연산기를 포함하는 이미지 처리 장치.

4

제1항에 있어서,상기 제1 컨벌루션 연산기는,뎁스 와이즈(depth-wise) 컨벌루션 연산기; 및상기 뎁스 와이즈 컨벌루션 연산기와 직접적으로 연결된 포인트 와이즈(point-wise) 컨벌루션 연산기를 포함하는 이미지 처리 장치.

5

제1항에 있어서,상기 특징맵 처리기는,상기 제1 컨벌루션 연산기의 출력을 적어도 하나의 라인 단위로 압축하는 컴프레서(compressor)를 포함하는 이미지 처리 장치.

6

제5항에 있어서,상기 특징맵 처리기는,라인 단위로 압축된 제1 컨벌루션 연산기의 출력을 저장하는 적어도 하나의 제2 라인 버퍼를 더 포함하는 이미지 처리 장치.

7

제6항에 있어서,상기 특징맵 처리기는,상기 적어도 하나의 제2 라인 버퍼의 출력을 2 차원 특징맵으로 복원하는 디컴프레서(decompressor)를 더 포함하는 이미지 처리 장치.

8

제1항에 있어서,상기 특징맵 처리기의 출력에 기초하여 컨벌루션 연산을 수행하는 제2 컨벌루션 연산기를 더 포함하는 이미지 처리 장치.

9

제8항에 있어서,상기 제2 컨벌루션 연산기는,2-D(2-dimensional) 컨벌루션 연산을 수행하는 적어도 하나의 2-D 컨벌루션 연산기를 포함하는 이미지 처리 장치.

10

제8항에 있어서,상기 제2 컨벌루션 연산기는,뎁스 와이즈(depth-wise) 컨벌루션 연산기; 및상기 뎁스 와이즈 컨벌루션 연산기와 직접적으로 연결된 포인트 와이즈(point-wise) 컨벌루션 연산기를 포함하는 이미지 처리 장치.

11

제1항에 있어서,적어도 하나의 컨벌루션 연산 결과를 양자화하는 양자화기를 더 포함하는 이미지 처리 장치.

12

제1항에 있어서,컨벌루션 연산에 사용되는 파라미터를 저장하는 가중치 버퍼를 더 포함하는 이미지 처리 장치.

13

이미지를 수신하는 단계;적어도 하나의 제1 라인 버퍼(line buffer)를 통해 상기 이미지를 라인 단위의 이미지 라인으로 출력하는 단계; 제1 컨벌루션 연산기를 통해 상기 제1 라인 버퍼의 출력에 기초하여 제1 컨벌루션 연산을 수행함으로써 특징맵을 생성하는 단계; 및특징맵 처리기를 통해 상기 제1 컨벌루션 연산기의 출력을 적어도 하나의 라인 단위로 저장하고, 상기 적어도 하나의 라인 단위로 저장된 특징맵을 2 차원 형태로 출력하도록 상기 제1 컨벌루션 연산기의 출력을 처리하는 단계를 포함하고,적어도 하나의 컨벌루션 연산은 파이프라인(pipe-line) 형태로 수행되고,상기 라인 단위는 1×n의 블록 크기를 가지고, n은 2 이상의 정수인 데이터 단위를 포함하는 이미지 처리 방법.

14

제13항에 있어서,상기 제1 컨벌루션 연산은잔차 신호를 학습하여 출력하도록 하는 잔차 블록(Residual Block) 내에서 수행되는이미지 처리 방법.

15

제13항에 있어서,상기 생성하는 단계는,적어도 한 번의 1-D(1-dimensional) 컨벌루션 연산을 수행하는 단계를 포함하는 이미지 처리 방법.

16

제13항에 있어서,상기 생성하는 단계는,뎁스 와이즈(depth-wise) 컨벌루션 연산을 수행하는 단계; 및상기 뎁스 와이즈 컨벌루션 연산 결과를 직접적으로 포인트 와이즈(point-wise) 컨벌루션 연산하는 단계를 포함하는 이미지 처리 방법.

17

제13항에 있어서,상기 처리하는 단계는,상기 제1 컨벌루션 연산기의 출력을 적어도 하나의 라인 단위로 압축하는 단계를 포함하는 이미지 처리 방법.

18

제17항에 있어서,상기 처리하는 단계는,적어도 하나의 제2 라인 버퍼를 통해 라인 단위로 압축된 제1 컨벌루션 연산기의 출력을 저장하는 단계를 더 포함하는 이미지 처리 방법.

19

제18항에 있어서,상기 처리하는 단계는,상기 적어도 하나의 제2 라인 버퍼의 출력을 2 차원 특징맵으로 복원하는 단계를 더 포함하는 이미지 처리 방법.

20

제13항에 있어서,상기 특징맵 처리기의 출력에 기초하여 제2 컨벌루션 연산을 수행하는 단계를 더 포함하는 이미지 처리 방법.

21

제20항에 있어서,상기 수행하는 단계는,적어도 한 번의 2-D(2-dimensional) 컨벌루션 연산을 수행하는 단계를 포함하는 이미지 처리 방법.

22

제20항에 있어서,상기 수행하는 단계는,뎁스 와이즈(depth-wise) 컨벌루션 연산을 수행하는 단계; 및상기 뎁스 와이즈 컨벌루션 연산 결과를 직접적으로 포인트 와이즈(point-wise) 컨벌루션 연산하는 단계를 포함하는 이미지 처리 방법.