고해상도(HR) 360° 이미지는 자율 로봇 시스템 및 가상현실(VR) 응용과 같이 전방위 시야가 필요한 모든 상황에서 큰 장점을 제공한다. 인접한 시점에서 하나 또는 그 이상의 360° 이미지를 활용하면 특정 대상 360° 이미지의 해상도를 유의미하게 향상시킬 수 있다. 본 논문에서는 인접한 360° 카메라들 사이의 넓은 시야(FoV)를 활용하기 위한 효율적인 참조 기반 360° 이미지 초해상도(RefSR) 기법을 제안한다. 등방직각 투영(equi-rectangular projection, ERP)에 내재된 왜곡은 비자명한 문제이지만, 고품질을 달성하기 위해서는 공간적 상관관계의 효과적인 활용이 핵심이다. 이에 따라, 특히 극(pole) 근처에서의 크고 왜곡된 불일치(disparity)를 극복하기 위해 장거리 360 불일치 추정기(DE360)를 개발한다. 또한 왜곡을 우회하고 영상 품질을 유지하기 위해, 위도(latitude)를 인지하는 합성곱(LatConv)을 설계하여 보다 견고한 특징을 생성한다. 더불어 합성 360° 이미지 데이터셋을 개발하고, 합성 360° 이미지로부터 학습한 지식을 카메라로 촬영한 이미지의 초해상도(SR)를 수행하는 심층 신경망에 전달하는 합성-대-실(real) 학습 방식을 도입한다. 제안된 네트워크는 충분한 수의 합성 샘플을 통해 ERP 도메인에서 유용한 특징을 학습할 수 있다. 이후 네트워크는 제한된 수의 실제 데이터셋을 사용하여 전이 레이어(transfer layer)를 통해 카메라 촬영 이미지에 맞게 적응된다.
*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.