제 1 항에 있어서, 상기 깊이 추정 모델은, 이미지에 포함된 하나 이상의 오브젝트들의 깊이를 추정하기 위한 깊이 추정 서브모델 및 이미지에 기초하여 카메라의 자세를 추정하기 위한 자세 추정 서브모델을 포함하는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 하나 이상의 프로세서에서 실행되는 경우 이미지에서의 깊이 추정을 위한 이하의 방법들을 수행하도록 하며, 상기 방법은, 제 1 이미지 및 제 2 이미지를 획득하는 단계;상기 제 1 이미지를 상기 제 2 이미지의 깊이 정보에 기초하여 워핑한 제 12 워핑 이미지 및 상기 제 2 이미지를 상기 제 1 이미지의 깊이 정보에 기초하여 워핑한 제 21 워핑 이미지를 생성하는 단계; 및상기 제 2 이미지, 상기 제 12 워핑 이미지 및 상기 제 21 워핑 이미지에 적어도 부분적으로 기초하여 깊이 추정 모델을 학습시키는 단계;를 포함하는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 1 항에 있어서, 상기 제 1 이미지 및 상기 제 2 이미지는 단안 카메라에서 서로 다른 시점에 촬영된 이미지인, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 1 항에 있어서, 상기 제 1 이미지 및 상기 제 2 이미지 중 적어도 하나는 반사면을 포함하는 오브젝트를 적어도 하나 포함하는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 1 항에 있어서, 상기 제 12 워핑 이미지는, 상기 제 1 이미지를 기준으로 상기 제 2 이미지와의 차이(disparity)에 기초하여 상기 제 2 이미지의 깊이를 추정하고, 상기 제 2 이미지의 깊이에 기초하여 상기 제 1 이미지를 워핑한 이미지인, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 4 항에 있어서, 상기 제 12 워핑 이미지는, 아래 수학식 3 에 기초하여 생성되며,상기 제 21 워핑 이미지는, 아래 수학식 5 에 기초하여 생성되고,수학식 3: 수학식 5: 여기서, 는 제 1 이미지 를 제 2 이미지의 깊이 정보에 기초하여 워핑한 결과 이미지인 제 12 워핑 이미지이고, 는 제 2 이미지를 제 1 이미지의 깊이 정보에 기초하여 워핑한 결과 이미지인 제 21 워핑 이미지이고, K는 카메라의 내적 행렬, 는 제 2 이미지에서 제 1 이미지로의 카메라의 상대적인 자세로 회전 행렬 R과 변환 벡터 t로 구성되며, 는 제 2 이미지의 깊이 맵, 는 제 1 이미지의 깊이 맵인, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 1 항에 있어서, 상기 깊이 추정 모델은, 상기 제 12 워핑 이미지를 앵커 이미지(anchor image), 상기 제 2 이미지를 앵커 포지티브 이미지(anchor positive image) 상기 제 21 워핑 이미지를 앵커 네거티브 이미지(anchor negative image)로 하는 트리플렛 로스(triplet loss)에 기초하여 학습되는,컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 1 항에 있어서, 상기 깊이 추정 모델은, 상기 제 1 이미지 및 상기 제 2 이미지 중 적어도 하나에 포함된 하나 이상의 오브젝트들 중 반사면을 포함하는 오브젝트와 반사면을 포함하지 않는 오브젝트의 영역에 기초하여 상이한 손실함수(loss function)에 기초하여 학습되는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 8 항에 있어서, 상기 깊이 추정 모델은, 반사면을 포함하는 오브젝트의 영역에 대해서 트리플렛 로스에 기초하여 학습되는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 1 항에 있어서, 상기 제 1 이미지 및 제 2 이미지의 포토메트릭 에러에 기초하여 반사 표면을 식별하는 반사 영역 마스크를 생성하는 단계; 를 더 포함하는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 10 항에 있어서, 상기 반사 영역 마스크는 수학식 7에 기초하여 정의되며, 수학식 7: 여기서, 는 이미지 좌표를 나타내며, 는 반사 영역과 비반사 영역을 구분하는데 필요한 광도 차이를 나타내는 마진이며, 는 동일한 시점의 이미지들 사이의 포토메트릭 에러를 나타내며, 그리고 는 서로 다른 시점의 이미지들 사이의 포토메트릭 에러를 나타내는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 7 항에 있어서, 상기 트리플렛 로스는 아래 수학식 8에 기초하여 정의되는, 수학식8: 여기서, 는 트리플렛 로스, 는 반사 영역 마스크, 는 힌지 손실 함수, 는 반사 영역이 아닌 영역을 나타내는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 12 항에 있어서, 상기 트리플렛 로스는, 반사 영역 마스크가 1 인 영역에 대해서, 를 죄소화 하고, 나머지 영역에 대해서 를 최소화하도록 하는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 7 항에 있어서, 제 1 깊이 맵을 트리플렛 로스를 이용하여 학습된 상기 깊이 추정 모델을 이용하여 생성하고, 제 2 깊이 맵을 포토메트릭 로스를 이용하여 학습된 제 2 깊이 추정 모델을 이용하여 생성하고, 상기 제 1 깊이 맵 및 상기 제 2 깊이 맵을 통합하여 하나의 가상 깊이 맵을 생성하고, 상기 가상 깊이 맵에 기초하여 학생 깊이 추정 모델을 학습시키는 단계;를 더 포함하는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 14 항에 있어서, 상기 가상 깊이 맵은 수학식 9에 의하여 정의되는, 수학식 9: 여기서, 는 트리플렛 로스를 이용하여 학습된 깊이 추정 모델의 제 1 깊이 맵이고, 는 포토메트릭 로스를 이용하여 학습된 제 2 깊이 추정 모델의 제 2 깊이 맵이며, 는 가상 깊이 맵인, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

제 15 항에 있어서, 상기 학생 깊이 추정 모델의 학습 손실 함수는 수학식 10 으로 정의되는, 수학식 10: 여기서, 는 학생 깊이 추정 모델의 학습 손실 함수이며, 는 학생 깊이 추정 모델에서 예측된 깊이 맵이며, 는 상기 가상 깊이 맵인, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.

컴퓨터 장치의 하나 이상의 프로세서에서 실행가능한 이미지에서의 깊이 추정 방법으로서, 제 1 이미지 및 제 2 이미지를 획득하는 단계;상기 제 1 이미지를 상기 제 2 이미지의 깊이 정보에 기초하여 워핑한 제 12 워핑 이미지 및 상기 제 2 이미지를 상기 제 1 이미지의 깊이 정보에 기초하여 워핑한 제 21 워핑 이미지를 생성하는 단계; 및상기 제 2 이미지, 상기 제 12 워핑 이미지 및 상기 제 21 워핑 이미지에 적어도 부분적으로 기초하여 깊이 추정 모델을 학습시키는 단계:를 포함하는, 방법.

컴퓨터 장치로서, 하나 이상의 프로세서; 및 상기 하나 이상의 프로세서에서 실행가능한 명령들을 저장하는 메모리;를 포함하며, 상기 하나 이상의 프로세서는, 제 1 이미지 및 제 2 이미지를 획득하고,상기 제 1 이미지를 상기 제 2 이미지의 깊이 정보에 기초하여 워핑한 제 12 워핑 이미지 및 상기 제 2 이미지를 상기 제 1 이미지의 깊이 정보에 기초하여 워핑한 제 21 워핑 이미지를 생성하고, 그리고상기 제 2 이미지, 상기 제 12 워핑 이미지 및 상기 제 21 워핑 이미지에 적어도 부분적으로 기초하여 깊이 추정 모델을 학습시키는,컴퓨터 장치.