저조명도 영상 개선을 위한 가이디드 커브 추정 방법 및 장치
GUIDED CURVE ESTIMATION METHOD AND APPARATUS FOR ENHANCING LOW-LIGHT IMAGES
특허 요약
본 발명의 제1 측면에 따른 저조명도 영상 개선을 위한 가이디드 커브 추정 방법은, 인코더를 이용하여 입력된 이미지로부터 이미지 특징(feature)을 추출하는 단계 및 상기 이미지 특징을 디코더에 입력하여 상기 이미지 내 각 픽셀의 밝기를 표현하는 조정 맵 및 상기 밝기를 기초로 상기 이미지 내 각 픽셀에 대한 가중치를 부여하는 가이드 맵을 포함하는 가이디드 커브(guided curve)를 산출하는 단계를 포함한다.
청구항
번호청구항
1

인코더 및 디코더를 포함하는 가이디드 커브 추정 모델에 의해 수행되는 저조명도 영상 개선을 위한 가이디드 커브 추정 방법에 있어서,상기 인코더를 이용하여 입력된 이미지로부터 이미지 특징(feature)을 추출하는 단계; 및상기 이미지 특징을 상기 디코더에 입력하여 상기 이미지 내 각 픽셀의 밝기를 표현하는 조정 맵 및 상기 밝기를 기초로 상기 이미지 내 각 픽셀에 대한 가중치를 부여하는 가이드 맵을 포함하는 가이디드 커브(guided curve)를 산출하는 단계를 포함하는,저조명도 영상 개선을 위한 가이디드 커브 추정 방법.

2

제1항에 있어서,상기 가이디드 커브를 산출하는 단계는,상기 이미지 특징을 제1 디코더에 입력하여 상기 이미지 내 각 픽셀의 현재 밝기를 표현하는 조정 맵을 출력하는 단계; 및상기 이미지 특징을 제2 디코더에 입력하여 상기 이미지 내 각 픽셀의 현재 밝기에 대한 가중치를 부여하는 가이드 맵을 출력하는 단계를 포함하는,저조명도 영상 개선을 위한 가이디드 커브 추정 방법.

3

제2항에 있어서,상기 조정 맵은,레드, 그린 및 블루의 3개 채널을 포함하는,저조명도 영상 개선을 위한 가이디드 커브 추정 방법.

4

제2항에 있어서,상기 가이드 맵을 출력하는 단계에서,상기 이미지 내 픽셀의 현재 밝기가 어두울수록 더 높은 가중치를 부여하는,저조명도 영상 개선을 위한 가이디드 커브 추정 방법.

5

제2항에 있어서,상기 가이드 맵을 출력하는 단계에서,상기 이미지 내 픽셀의 현재 밝기가 임계값 이상이면 가중치를 0으로 부여하는,저조명도 영상 개선을 위한 가이디드 커브 추정 방법.

6

제5항에 있어서,상기 임계값은,상기 가이디드 커브 추정 모델의 학습을 통해 결정된 것인,저조명도 영상 개선을 위한 가이디드 커브 추정 방법.

7

제1항에 있어서,상기 가이디드 커브를 상기 이미지에 적용하여 상기 이미지의 각 픽셀에 대한 밝기가 조정된 조정 이미지를 출력하는 단계를 더 포함하는,저조명도 영상 개선을 위한 가이디드 커브 추정 방법.

8

제7항에 있어서,상기 가이디드 커브 추정 모델은,상기 이미지 및 상기 조정 이미지에 대한 각 픽셀의 밝기 차이를 반영하여 산출된 손실함수를 기초로 기 학습된 것인,저조명도 영상 개선을 위한 가이디드 커브 추정 방법.

9

제8항에 있어서,상기 손실함수는 채널 일관성 손실함수를 포함하고,상기 채널 일관성 손실함수는, 로 결정되고, 는 상기 채널 일관성 손실함수, KL은 두 분포 사이의 차이를 수치적으로 나타낸 값, 는 상기 조정 이미지, 는 상기 이미지를 나타내는,저조명도 영상 개선을 위한 가이디드 커브 추정 방법.

10

제8항에 있어서,상기 손실함수는 엣지 일관성 손실함수를 포함하고,상기 엣지 일관성 손실함수는,로 결정되고, 는 상기 엣지 일관성 손실함수, Y는 상기 조정 이미지, 는 임의의 상수인,저조명도 영상 개선을 위한 가이디드 커브 추정 방법.

11

제8항에 있어서,상기 손실함수는 밝기 일관성 손실함수를 포함하고,상기 밝기 일관성 손실함수는,로 결정되고, 는 상기 밝기 일관성 손실함수, 는 HSV(hue, saturation, value) 색공간 형식으로 된 영상 I의 명도(V, value) 채널, 는 밝기 맵()의 곡률을 조정하는 변수인,저조명도 영상 개선을 위한 가이디드 커브 추정 방법.

12

컴퓨터 실행 가능한 명령어를 저장할 수 있는 메모리; 및상기 명령어를 실행함으로써,인코더를 이용하여 입력된 이미지로부터 이미지 특징(feature)을 추출하는 단계;상기 이미지 특징을 디코더에 입력하여 상기 이미지 내 각 픽셀의 밝기를 표현하는 조정 맵 및 상기 밝기를 기초로 상기 이미지 내 각 픽셀에 대한 가중치를 부여하는 가이드 맵을 포함하는 가이디드 커브(guided curve)를 산출하는 단계를 포함하는 방법을 수행하는 프로세서를 포함하는,저조명도 영상 개선을 위한 가이디드 커브 추정 장치.

13

제12항에 있어서,상기 가이디드 커브를 산출하는 단계는,상기 이미지 특징을 제1 디코더에 입력하여 상기 이미지 내 각 픽셀의 밝기를 표현하는 조정 맵을 출력하는 단계; 및상기 이미지 특징을 제2 디코더에 입력하여 상기 이미지 내 각 픽셀의 밝기에 대한 가중치를 부여하는 가이드 맵을 출력하는 단계를 포함하는,저조명도 영상 개선을 위한 가이디드 커브 추정 장치.

14

제13항에 있어서,상기 조정 맵은,레드, 그린 및 블루의 3개 채널을 포함하는,저조명도 영상 개선을 위한 가이디드 커브 추정 장치.

15

제13항에 있어서,상기 가이드 맵을 출력하는 단계에서,상기 이미지 내 픽셀의 밝기가 어두울수록 더 높은 가중치를 부여하는,저조명도 영상 개선을 위한 가이디드 커브 추정 장치.

16

제13항에 있어서,상기 가이드 맵을 출력하는 단계에서,상기 이미지 내 픽셀의 밝기가 임계값 이상이면 가중치를 0으로 부여하는,저조명도 영상 개선을 위한 가이디드 커브 추정 장치.

17

제16항에 있어서,상기 임계값은,상기 가이디드 커브 추정 모델의 학습을 통해 결정된 것인,저조명도 영상 개선을 위한 가이디드 커브 추정 장치.

18

제12항에 있어서,상기 방법은,상기 가이디드 커브를 상기 이미지에 적용하여 상기 이미지의 각 픽셀에 대한 밝기가 조정된 조정 이미지를 출력하는 단계를 더 포함하는,저조명도 영상 개선을 위한 가이디드 커브 추정 장치.

19

제18항에 있어서,상기 장치는 가이디드 커브 추정 모델을 포함하고,상기 가이디드 커브 추정 모델은,상기 이미지 및 상기 조정 이미지의 각 픽셀의 밝기를 기초로 산출된 손실함수를 기초로 기 학습된 것인,저조명도 영상 개선을 위한 가이디드 커브 추정 장치.

20

제19항에 있어서,상기 손실함수는 채널 일관성 손실함수를 포함하고,상기 채널 일관성 손실함수는, 로 결정되고, 이 때, 는 상기 채널 일관성 손실함수, KL은 두 분포 사이의 차이를 수치적으로 나타낸 값, 는 상기 조정 이미지, 는 상기 이미지를 나타내는,저조명도 영상 개선을 위한 가이디드 커브 추정 장치.

21

제19항에 있어서,상기 손실함수는 엣지 일관성 손실함수를 포함하고,상기 엣지 일관성 손실함수는,로 결정되고, 는 상기 엣지 일관성 손실함수, Y는 상기 조정 이미지, 는 임의의 상수인,저조명도 영상 개선을 위한 가이디드 커브 추정 장치.

22

제19항에 있어서,상기 손실함수는 밝기 일관성 손실함수를 포함하고,상기 밝기 일관성 손실함수는,로 결정되고, 는 상기 밝기 일관성 손실함수, 는 HSV(hue, saturation, value) 색공간 형식으로 된 영상 I의 명도(V, value) 채널, 는 밝기 맵()의 곡률을 조정하는 변수인,저조명도 영상 개선을 위한 가이디드 커브 추정 장치.

23

컴퓨터 실행 가능한 명령어를 저장하고 있는 컴퓨터 판독 가능 기록매체로서, 상기 컴퓨터 실행 가능한 명령어는, 프로세서에 의해 실행되면,인코더를 이용하여 입력된 이미지로부터 이미지 특징(feature)을 추출하는 단계; 및상기 이미지 특징을 디코더에 입력하여 상기 이미지 내 각 픽셀의 밝기를 표현하는 조정 맵 및 상기 밝기를 기초로 상기 이미지 내 각 픽셀에 대한 가중치를 부여하는 가이드 맵을 포함하는 가이디드 커브(guided curve)를 산출하는 단계를 포함하는 방법을 상기 프로세서가 수행하도록 하는,컴퓨터 판독 가능한 기록매체.

24

컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,인코더를 이용하여 입력된 이미지로부터 이미지 특징(feature)을 추출하는 단계; 및상기 이미지 특징을 디코더에 입력하여 상기 이미지 내 각 픽셀의 밝기를 표현하는 조정 맵 및 상기 밝기를 기초로 상기 이미지 내 각 픽셀에 대한 가중치를 부여하는 가이드 맵을 포함하는 가이디드 커브(guided curve)를 산출하는 단계를 포함하는 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는,컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램.