라인 입력 및 출력을 이용한 이미지 처리 방법 및 장치
A METHOD AND APPARATUS OF IMAGE PROCESSING USING LINE INPUT AND OUPUT
특허 요약
라인 단위 연산을 이용한 이미지 처리 방법 및 장치가 개시된다. 일 실시예에 따른 이미지 처리 장치는, 2차원 픽셀 정보를 수신하는 수신기와, 상기 2 차원 픽셀 정보를 라인 단위의 데이터 라인으로 출력하는 적어도 하나의 제1 라인 버퍼와, 상기 데이터 라인 데이터에 기초하여 컨벌루션 연산을 수행하는 연산기와, 연산이 수행된 데이터 라인을 출력하는 적어도 하나의 제2 라인 버퍼를 포함한다.
청구항
번호청구항
1

2차원 픽셀 정보를 수신하는 수신기;상기 2 차원 픽셀 정보를 라인 단위의 데이터 라인으로 출력하는 적어도 하나의 제1 라인 버퍼;상기 데이터 라인에 기초하여 컨벌루션 연산을 수행하는 연산기; 및연산이 수행된 데이터 라인을 출력하는 적어도 하나의 제2 라인 버퍼를 포함하고,상기 라인 단위는 1×n의 블록 크기를 가지고, n은 2 이상의 정수인 데이터 단위를 포함하는 이미지 처리 장치.

2

제1항에 있어서,상기 수신기는,상기 2차원 픽셀 정보의 제1 컬러 데이터를 제2 컬러 데이터로 변환하는 제1 픽셀 정보 변환기를 포함하는 이미지 처리 장치.

3

제1항에 있어서,상기 연산이 수행된 데이터 라인의 제2 컬러 데이터를 제1 컬러 데이터로 변환하는 제2 픽셀 정보 변환기를 더 포함하는 이미지 처리 장치.

4

제1항에 있어서,상기 연산기는,상기 데이터 라인에 기초하여 컨벌루션 연산을 수행함으로써 특징맵을 생성하는 제1 컨벌루션 연산기;상기 특징맵을 적어도 하나의 라인 단위로 저장하고, 상기 적어도 하나의 라인 단위로 저장된 특징맵을2 차원 형태로 출력하도록 처리하는 특징맵 처리기; 및2차원 형태로 출력된 특징맵에 기초하여 컨벌루션 연산을 수행하는 제2 컨벌루션 연산기를 포함하는 이미지 처리 장치.

5

제4항에 있어서,상기 제1 컨벌루션 연산기는,잔차 신호를 학습하여 출력하도록 하는 잔차 블록(Residual Block) 내에 구현되는이미지 처리 장치.

6

제4항에 있어서,상기 제1 컨벌루션 연산기는,1-D(1-dimensional) 컨벌루션 연산을 수행하는 적어도 하나의 1-D 컨벌루션 연산기를 포함하는 이미지 처리 장치.

7

제4항에 있어서,상기 제1 컨벌루션 연산기는,뎁스 와이즈(depth-wise) 컨벌루션 연산기; 및상기 뎁스 와이즈 컨벌루션 연산기와 직접적으로 연결된 포인트 와이즈(point-wise) 컨벌루션 연산기를 포함하는 이미지 처리 장치.

8

제4항에 있어서,상기 특징맵 처리기는,상기 특징맵을 적어도 하나의 라인 단위로 압축하는 컴프레서(compressor)를 포함하는 이미지 처리 장치.

9

제8항에 있어서,상기 특징맵 처리기는,라인 단위로 압축된 특징맵을 저장하는 적어도 하나의 제3 라인 버퍼를 더 포함하는 이미지 처리 장치.

10

제9항에 있어서,상기 특징맵 처리기는,상기 라인 단위로 압축된 특징맵을 2 차원 특징맵으로 복원하는 디컴프레서(decompressor)를 더 포함하는 이미지 처리 장치.

11

제4항에 있어서,상기 제2 컨벌루션 연산기는,2-D(2-dimensional) 컨벌루션 연산을 수행하는 적어도 하나의 2-D 컨벌루션 연산기를 포함하는 이미지 처리 장치.

12

제4항에 있어서,상기 제2 컨벌루션 연산기는,뎁스 와이즈(depth-wise) 컨벌루션 연산기; 및상기 뎁스 와이즈 컨벌루션 연산기와 직접적으로 연결된 포인트 와이즈(point-wise) 컨벌루션 연산기를 포함하는 이미지 처리 장치.

13

제4항에 있어서,상기 연산기는,적어도 하나의 컨벌루션 연산 결과를 양자화하는 양자화기를 더 포함하는 이미지 처리 장치.

14

제4항에 있어서,상기 연산기는,컨벌루션 연산에 사용되는 파라미터를 저장하는 가중치 버퍼를 더 포함하는 이미지 처리 장치.

15

2차원 픽셀 정보를 수신하는 단계;상기 2 차원 픽셀 정보를 라인 단위인 적어도 하나의 데이터 라인으로 출력하는 단계;상기 적어도 하나의 데이터 라인에 기초하여 컨벌루션 연산을 수행하는 단계; 및상기 연산이 수행된 데이터 라인을 출력하는 단계;를 포함하고,상기 라인 단위는 1×n의 블록 크기를 가지고, n은 2 이상의 정수인 데이터 단위를 포함하는 이미지 처리 방법.

16

제15항에 있어서,상기 수신하는 단계는,상기 2차원 픽셀 정보의 제1 컬러 데이터를 제2 컬러 데이터로 변환하는 단계를 포함하는 이미지 처리 방법.

17

제15항에 있어서,상기 연산이 수행된 데이터 라인의 제2 컬러 데이터를 제1 컬러 데이터로 변환하는 단계를 더 포함하는 이미지 처리 방법.

18

제15항에 있어서,상기 수행하는 단계는,상기 데이터 라인에 기초하여 제1 컨벌루션 연산을 수행함으로써 특징맵을 생성하는 단계;상기 특징맵을 라인 단위로 저장하고, 상기 적어도 하나의 라인 단위로 저장된 특징맵을 2 차원 형태로 출력하도록 상기 특징맵을 처리하는 단계; 및2차원 형태로 출력된 특징맵에 기초하여 제2 컨벌루션 연산을 수행하는 단계를 포함하는 이미지 처리 방법.

19

제18항에 있어서,상기 제1 컨벌루션 연산은,잔차 신호를 학습하여 출력하도록 하는 잔차 블록(Residual Block) 내에서 수행되는이미지 처리 방법.

20

제18항에 있어서,상기 생성하는 단계는,적어도 한 번의 1-D(1-dimensional) 컨벌루션 연산을 수행하는 단계를 포함하는 이미지 처리 방법.

21

제18항에 있어서,상기 생성하는 단계는,뎁스 와이즈(depth-wise) 컨벌루션 연산을 수행하는 단계; 및상기 뎁스 와이즈 컨벌루션 연산 결과를 직접적으로 포인트 와이즈(point-wise) 컨벌루션 연산하는 단계를 포함하는 이미지 처리 방법.

22

제18항에 있어서,상기 처리하는 단계는,상기 특징맵을 적어도 하나의 라인 단위로 압축하는 단계를 포함하는 이미지 처리 방법.

23

제22항에 있어서,상기 처리하는 단계는,적어도 하나의 라인 단위로 압축된 특징맵을 저장하는 단계를 더 포함하는 이미지 처리 방법.

24

제23항에 있어서,상기 처리하는 단계는,상기 적어도 하나의 라인 단위로 압축된 특징맵을 2 차원 특징맵으로 복원하는 단계를 더 포함하는 이미지 처리 방법.

25

제18항에 있어서,상기 제2 컨벌루션 연산을 수행하는 단계는,적어도 한 번의 2-D(2-dimensional) 컨벌루션 연산을 수행하는 단계를 포함하는 이미지 처리 방법.

26

제18항에 있어서,상기 제2 컨벌루션 연산을 수행하는 단계는,뎁스 와이즈(depth-wise) 컨벌루션 연산을 수행하는 단계; 및상기 뎁스 와이즈 컨벌루션 연산 결과를 직접적으로 포인트 와이즈(point-wise) 컨벌루션 연산하는 단계를 포함하는 이미지 처리 방법.

27

제18항에 있어서,상기 컨벌루션 연산을 수행하는 단계는,적어도 하나의 컨벌루션 연산 결과를 양자화하는 단계를 더 포함하는 이미지 처리 방법.

28

제18항에 있어서,상기 컨벌루션 연산을 수행하는 단계는,컨벌루션 연산에 사용되는 파라미터를 저장하는 단계를 더 포함하는 이미지 처리 방법.