Two-Stage Disparity Refinement for Multi-View ERP 360° Super-Resolution
연구 내용
ERP 도메인에서 기준 뷰를 depth 기반 warping으로 정합한 뒤, 잔여 flow를 추정해 2단계로 정련함으로써 멀티뷰 360° 이미지를 초해상화하는 연구
멀티뷰 360° 초해상화에서는 서로 다른 시점의 특징을 효과적으로 결합해야 하지만, 기존 convolution의 shift invariance 특성은 ERP에서의 왜곡을 반영하기 어렵습니다. 본 연구는 coarse-to-fine 접근을 통해 비선형 ERP 왜곡을 먼저 줄입니다. 첫 단계에서는 depth 기반 warping으로 기준 ERP 이미지를 타깃 LR의 동일 시점으로 합성하여 왜곡을 감소시키고, 두 번째 단계에서는 warped 기준과 LR 사이의 잔여 flow를 정련하는 flow estimator를 사용합니다. 최종 네트워크는 LR-ERP 특징과 warped ERP 특징을 결합해 SR을 생성하도록 설계합니다.
관련 연구 성과
관련 논문
1편
관련 특허
0건
관련 프로젝트
0건
연구 흐름
초기 연구는 ERP 형식의 멀티뷰 360° 입력에서 상관 정보를 활용할 수 있는 초해상화 프레임을 구성하는 데서 출발했습니다. 이후 ERP 도메인의 비선형 왜곡을 줄이기 위해 기준 뷰 정합을 depth 기반 warping으로 수행하고, coarse 결과의 잔여 불일치를 flow estimator로 보정하는 흐름으로 확장했습니다. 최근에는 CNN 아키텍처에서 LR 특징과 warped 특징의 결합 방식을 정교화하여 멀티뷰 정보의 기여도를 높이는 방향으로 연구를 수행합니다.
활용 가능성
활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.
관련 논문
구분
제목
Super-resolution of Multi-view ERP 360-Degree Images with Two-Stage Disparity Refinement