입력 이미지에 대하여 화이트 밸런싱(white balancing)을 수행하는 방법에 있어서,상기 입력 이미지를 인코더에 입력하는 것에 기초하여, 상기 입력 이미지 내에 존재하는 조명에 관한 정보를 포함하는 특징 맵을 산출하는 단계;상기 산출된 특징 맵을 사용하여, 복수의 슬롯 벡터들을 반복적으로 업데이트함으로써 복수의 예측 조명 벡터들을 산출하는 단계;상기 산출된 복수의 예측 조명 벡터들을 사용하여, 상기 입력 이미지 내에 존재 가능한 복수의 가상 조명들 각각이 상기 입력 이미지의 픽셀들에 미치는 영향을 나타내는 복수의 혼합 맵들(mixture maps) 및 상기 복수의 가상 조명들 각각의 색상값을 나타내는 복수의 조명 색상 벡터들을 산출하는 단계; 및상기 산출된 복수의 혼합 맵들 및 상기 산출된 복수의 조명 색상 벡터들을 사용하여 조명 맵(illumination map)을 생성하는 단계를 포함하는 방법.

제1항에 있어서,상기 복수의 슬롯 벡터들 각각은,상기 산출된 특징 맵을 구성하는 채널의 개수와 동일한 차원(dimension)의 벡터인,방법.

제1항에 있어서,상기 복수의 예측 조명 벡터들을 산출하는 단계는,상기 복수의 슬롯 벡터들을 뉴럴 네트워크 모델을 통해 미리 설정된 횟수 만큼 업데이트함으로써 상기 복수의 예측 조명 벡터들을 산출하는 단계를 포함하는 방법.

제3항에 있어서,상기 복수의 예측 조명 벡터들을 산출하는 단계는,상기 산출된 특징 맵을 다층 퍼셉트론(multi-layer perceptron)에 입력하여 상기 산출된 특징 맵과 동일한 크기의 키(key) 및 밸류(value)를 산출하는 단계; 및상기 복수의 슬롯 벡터들을 쿼리(query)로 설정하는 단계를 포함하는 방법.

제4항에 있어서,상기 복수의 예측 조명 벡터들을 산출하는 단계는,상기 쿼리와 상기 키를 내적(dot product)한 결과에 소프트맥스(softmax) 함수를 채널 축으로 적용함으로써 복수의 어텐션 맵들(attention maps)을 산출하는 단계;상기 산출된 복수의 어텐션 맵들을 공간 축으로 정규화(normalize)한 후 상기 밸류를 곱하여 복수의 후보 벡터들을 산출하는 단계; 및상기 산출된 복수의 후보 벡터들을 상기 뉴럴 네트워크 모델에 입력하는 것에 기초하여, 상기 뉴럴 네트워크 모델의 출력값들로 상기 복수의 슬롯 벡터들을 업데이트하는 단계를 포함하는 방법.

제3항에 있어서,상기 뉴럴 네트워크 모델은,트랜스포머 모델(transformer model)의 디코더(decoder), LSTM 모델(long short-term memory model), 및 GRU 모델(gated recurrent model) 중 하나인,방법.

제4항에 있어서,상기 복수의 혼합 맵들 및 상기 복수의 조명 색상 벡터들을 산출하는 단계는,상기 산출된 복수의 예측 조명 벡터들과 상기 키를 내적한 결과에 소프트맥스 함수를 채널 축으로 적용함으로써 상기 복수의 혼합 맵들을 산출하는 단계; 및상기 산출된 복수의 예측 조명 벡터들 각각을 선형 레이어(linear layer)에 입력함으로써 상기 복수의 조명 색상 벡터들을 산출하는 단계를 포함하는 방법.

제1항에 있어서,상기 조명 맵을 생성하는 단계는,상기 복수의 가상 조명들에 대응하는 복수의 조명 색상 벡터들 별로 가중치를 설정하는 단계; 및상기 복수의 가상 조명들 각각에 대하여, 해당 가상 조명에 대응하는 조명 색상 벡터에 해당 조명 색상 벡터에 대해 설정된 가중치를 적용한 결과에 상기 해당 가상 조명에 대응하는 혼합 맵을 곱하여 후보 맵을 산출하는 단계; 및상기 산출된 복수의 후보 맵들을 채널 축으로 합함으로써 상기 조명 맵을 생성하는 단계를 포함하는 방법.

제1항에 있어서,트레이닝 입력 이미지, 상기 트레이닝 입력 이미지와 매핑된 참값 조명 맵, 및 상기 트레이닝 입력 이미지와 매핑된 복수의 참값 조명 색상 벡터들, 및 상기 트레이닝 입력 이미지와 매핑된 복수의 참값 혼합 맵들을 포함하는 트레이닝 데이터에 기초하여, 상기 입력 이미지로부터 상기 조명 맵을 생성하는 조명 분해 프레임워크를 트레이닝시키는 단계를 더 포함하는 방법.

제9항에 있어서,상기 조명 분해 프레임워크를 트레이닝시키는 단계는,상기 트레이닝 입력 이미지를 상기 인코더에 입력하는 것에 기초하여 임시 특징 맵을 산출하고, 상기 산출된 임시 특징 맵으로부터 복수의 임시 혼합 맵들 및 복수의 임시 조명 색상 벡터들을 산출하며, 상기 산출된 복수의 임시 혼합 맵들 및 상기 산출된 복수의 임시 조명 색상 벡터들을 사용하여 임시 조명 맵을 생성하는 단계;상기 임시 조명 맵 및 상기 참값 조명 맵에 기초하여 조명 맵 손실을 산출하는 단계;상기 복수의 임시 조명 색상 벡터들 및 상기 복수의 참값 조명 색상 벡터들에 기초하여 조명 색상 손실을 산출하는 단계; 및상기 산출된 조명 맵 손실 및 상기 산출된 조명 색상 손실을 포함하는 전체 손실에 기초하여 상기 조명 분해 프레임워크를 트레이닝시키는 단계를 포함하는 방법.

제10항에 있어서,상기 조명 색상 손실을 산출하는 단계는,상기 복수의 임시 조명 색상 벡터들 중 개별 참값 조명 색상 벡터와 매칭되는 임시 조명 색상 벡터를 결정하는 단계; 및상기 복수의 참값 조명 색상 벡터들 및 상기 복수의 참값 조명 색상 벡터들 각각과 매칭되는 임시 조명 색상 벡터들을 사용하여 상기 조명 색상 손실을 산출하는 단계 를 포함하는 방법.

제11항에 있어서,상기 개별 참값 조명 색상 벡터와 매칭되는 임시 조명 색상 벡터를 결정하는 단계는,상기 복수의 임시 혼합 맵들 중 임의의 임시 혼합 맵과 상기 복수의 참값 혼합 맵들 중 임의의 참값 혼합 맵 간의 거리를 모두 산출하는 단계;상기 산출된 복수의 거리들을 코스트들로 설정하고, 상기 설정된 코스트들에 헝가리안 매칭 알고리즘을 적용함으로써 개별 참값 혼합 맵과 매칭되는 임시 혼합 맵을 결정하는 단계; 및상기 개별 참값 혼합 맵에 대응하는 참값 조명 색상 벡터를, 상기 개별 참값 혼합 맵과 매칭된 임시 혼합 맵에 대응하는 임시 조명 색상 벡터와 매칭시키는 단계를 포함하는 방법.

제10항에 있어서,상기 조명 분해 프레임워크를 트레이닝시키는 단계는,상기 복수의 임시 혼합 맵들 및 상기 복수의 참값 혼합 맵들에 기초하여 혼합 맵 손실을 산출하는 단계; 및상기 산출된 조명 맵 손실, 상기 산출된 조명 색상 손실, 및 상기 산출된 혼합 맵 손실을 포함하는 상기 전체 손실에 기초하여 상기 조명 분해 프레임워크를 트레이닝시키는 단계를 포함하는 방법.

입력 이미지에 대하여 화이트 밸런싱을 수행하는 전자 장치에 있어서,상기 입력 이미지를 인코더에 입력하는 것에 기초하여, 상기 입력 이미지 내에 존재하는 조명에 관한 정보를 포함하는 특징 맵을 산출하고, 상기 산출된 특징 맵을 사용하여 복수의 슬롯 벡터들을 반복적으로 업데이트함으로써 복수의 예측 조명 벡터들을 산출하며, 상기 산출된 복수의 예측 조명 벡터들을 사용하여 상기 입력 이미지 내에 존재 가능한 복수의 가상 조명들 각각이 상기 입력 이미지의 픽셀들에 미치는 영향을 나타내는 복수의 혼합 맵들 및 상기 복수의 가상 조명들 각각의 색상값을 나타내는 복수의 조명 색상 벡터들을 산출하고, 상기 산출된 복수의 혼합 맵들 및 상기 산출된 복수의 조명 색상 벡터들을 사용하여 조명 맵을 산출하는 프로세서를 포함하는 전자 장치.

제14항에 있어서,상기 프로세서는,상기 산출된 특징 맵을 다층 퍼셉트론에 입력하여 상기 산출된 특징 맵과 동일한 크기의 키 및 밸류를 산출하고, 상기 복수의 슬롯 벡터들을 쿼리로 설정하는,전자 장치.

제15항에 있어서,상기 프로세서는,상기 쿼리와 상기 키를 내적한 결과에 소프트맥스 함수를 채널 축으로 적용함으로써 복수의 어텐션 맵들을 산출하고, 상기 산출된 복수의 어텐션 맵들을 공간 축으로 정규화한 후 상기 밸류를 곱하여 복수의 후보 벡터들을 산출하며, 상기 산출된 후보 벡터들을 뉴럴 네트워크 모델에 입력하는 것에 기초하여, 상기 뉴럴 네트워크 모델의 출력값들로 상기 복수의 슬롯 벡터들을 업데이트하는,전자 장치.

제15항에 있어서,상기 프로세서는,상기 산출된 복수의 예측 조명 벡터들과 상기 키를 내적한 결과에 소프트맥스 함수를 채널 축으로 적용함으로써 상기 복수의 혼합 맵들을 산출하고, 상기 산출된 복수의 예측 조명 벡터들 각각을 선형 레이어에 입력함으로써 상기 복수의 조명 색상 벡터들을 산출하는,전자 장치.

제14항에 있어서,상기 프로세서는,상기 복수의 가상 조명들 별로 가중치를 설정하고, 상기 복수의 가상 조명들 각각에 대하여, 해당 가상 조명에 대응하는 조명 색상 벡터에 상기 해당 가상 조명에 설정된 가중치를 적용한 결과에 상기 해당 가상 조명에 대응하는 혼합 맵을 곱하여 후보 맵을 생성하며, 상기 산출된 복수의 후보 맵들을 채널 축으로 합함으로써 상기 조명 맵을 생성하는,전자 장치.

제14항에 있어서,상기 프로세서는,트레이닝 입력 이미지, 상기 트레이닝 입력 이미지와 매핑된 참값 조명 맵, 및 상기 트레이닝 입력 이미지와 매핑된 복수의 참값 조명 색상 벡터들, 및 상기 트레이닝 입력 이미지와 매핑된 복수의 참값 혼합 맵들을 포함하는 트레이닝 데이터에 기초하여, 상기 입력 이미지로부터 상기 조명 맵을 생성하는 조명 분해 프레임워크를 트레이닝시키는,전자 장치.

제19항에 있어서,상기 프로세서는,상기 트레이닝 입력 이미지를 상기 인코더에 입력하는 것에 기초하여 임시 특징 맵을 산출하고, 상기 산출된 임시 특징 맵으로부터 복수의 임시 혼합 맵들 및 복수의 임시 조명 색상 벡터들을 산출하며, 상기 산출된 복수의 임시 혼합 맵들 및 상기 산출된 복수의 임시 조명 색상 벡터들을 사용하여 임시 조명 맵을 산출하고, 상기 임시 조명 맵 및 상기 참값 조명 맵에 기초하여 조명 맵 손실을 산출하며, 상기 복수의 임시 조명 색상 벡터들 및 상기 복수의 참값 조명 색상 벡터들에 기초하여 조명 색상 손실을 산출하고, 상기 산출된 조명 맵 손실 및 상기 산출된 조명 색상 손실을 포함하는 전체 손실에 기초하여 상기 조명 분해 프레임워크를 트레이닝시키는,전자 장치.