라이트필드 기반 각도 초해상 및 시점 보간 연구
Light Field Angular Super-Resolution and View Interpolation
연구 내용
라이트필드의 각도·공간 해상도를 복원하기 위해 epipolar 구조와 back-projection, pixel shuffle을 결합한 신경망으로 고밀도 시점 합성을 수행하는 연구
라이트필드 영상에서 관측 시점이 희소하거나 센서 해상도에 제약이 있을 때, 각도 정보와 공간 정보를 일관된 표현으로 복원하는 문제를 다룹니다. epipolar geometry에 기반한 사분면 특징을 단계적으로 추출하거나, channel fusion과 up- and down-fusion을 통해 시점 간 상호 의존성을 효율적으로 결합합니다. 또한 Sub-Aperture Images, Epipolar Plane Images, Macro-Pixel Images로 구성된 tri-visualization을 병렬 처리한 뒤 residual block 기반 공간 집계로 정제합니다. back-projection 및 pixel shuffle 계열 연산을 활용해 참조 기반 보간을 안정화하고, 점유 및 반사 등 복잡한 장면에서도 일관성 있는 합성 결과를 생성하는 데 차별성을 둡니다.
관련 연구 성과
관련 논문
6편
관련 특허
0건
관련 프로젝트
0건
연구 흐름
초기에는 라이트필드 또는 인접 시점과 깊이 정보를 활용해 부유(부동소수점) 시점에서도 홀(hole) 없이 free-view 합성을 수행하는 렌더링 기반 접근을 정립했습니다. 이후 Prex-Net 계열에서 3D convolution 기반 특징 추출과 채널 융합 모듈로 빠른 고품질 라이트필드 복원 구조를 구축했습니다. 2024년에는 quadrilateral epipolar 특징을 통한 각도-공간 계층 복원과 pixel shuffle 기반 back-projection 네트워크로 angular resolution 향상에 집중했습니다. 2025년에는 tri-visualization 기반 LFASR과 attention 기반 back-projection 구조를 통해 occlusion 및 큰 disparity 변화를 포함한 일반화 성능을 강화하는 방향으로 확장했습니다.
활용 가능성
활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.
- 고정밀 시점 보간 영상
- 깊이 기반 렌더링 파이프라인
- 객체 리포커싱 영상 생성
- 가상 촬영 스테이션
- 3D 재구성 전처리
- 콘텐츠 저비용 촬영 시스템
- 다시점 기반 촬영 품질 향상
- 시각 품질 향상형 압축 후처리
- 자율주행/로보틱스 입력 보강
- AR/VR 실시간 시각 데이터 생성
관련 논문
구분
제목
Reconstructing angular light field by learning spatial features from quadrilateral epipolar geometry
Prex-Net: Progressive Exploration Network Using Efficient Channel Fusion for Light Field Reconstruction
Tri-visualization feature extraction for light field angular super-resolution
Prex-NetII: Attention-Based Back-Projection Network for Light Field Reconstruction
Light Field Reconstruction using Pixel Shuffle based on Back-Projection Network
Rendering-based free-view image synthesis using peripheral view and depth images