본 논문에서는 적도좌표법(equirectangular projection, ERP) 형식의 다중 시점 360도 이미지에 대한 새로운 초해상도(super-resolution, SR) 기법을 제안한다. 우리가 아는 한, 제안된 알고리즘은 ERP 형식의 다중 시점 360도 이미지에 대한 최초의 연구이다. 다중 시점 초해상도(MV-SR)에서는 서로 다른 시점에서의 특징에 대한 지식을 융합하는 것이 중요하지만, 기존 CNN은 합성곱이 이동 불변(shift invariant)이라는 특성 때문에 이 과제를 거의 달성하지 못한다. 따라서 본 연구는 ERP 도메인에서 다중 시점 간 상관성을 활용하기 위해 거칠게부터 정밀하게(coarse-to-fine) 접근을 취한다. 첫째, 기준 ERP에 대해 깊이 기반 워핑(depth-based warping)을 수행하여 목표 저해상도(low-resolution, LR) ERP와 동일한 시점의 이미지를 합성한다. 제안된 워핑 이후 두 ERP 이미지 간의 비선형 왜곡(nonlinear distortion)은 현저하게 감소될 수 있다. 둘째, 워핑된 기준 이미지와 LR 이미지 사이에 남아 있는 플로우(flow)를 정련하기 위해 플로우 추정기(flow estimator)를 사용한다. 본 CNN 아키텍처는 LR-ERP와 워핑된 기준 ERP의 특징을 결합하여 네트워크의 말단에서 SR을 생성한다. 실험 결과, 제안된 알고리즘은 MV-SR의 최신 기술(state-of-the-art)과 비교하여 다중 시점 360도 이미지의 SR 품질을 유의하게 향상시키는 것으로 입증된다.
*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.