일반화 가능한 뉴럴 렌더링: 3D Gaussian Splatting과 뉴럴 필드의 재구성·고해상도화·압축

Generalizable Neural Rendering: 3D Gaussian Splatting and Neural Fields for Reconstruction and Compression

연구 내용

희소 뷰에서도 고충실도 3D를 재구성하고 표현 효율을 높이는 3D Gaussian Splatting 기반 연구

본 분야는 다중 시점 관측에서 3D 구조를 재구성할 때 일반화와 표현 효율을 동시에 확보하는 데 초점을 둡니다. pose 또는 3D prior 없이도 안정적인 3D Gaussian Splatting 재구성을 수행하기 위해 self-supervised depth·pose 추정과 뷰 간 기하 일관성 강화를 결합합니다. 또한 생성형 densification으로 feed-forward 모델의 한계를 보완해 fine detail을 효과적으로 확장하고, 최소화된 Gaussians 표현과 정밀한 속성 표현을 통해 저장·연산 비용을 줄입니다. 비디오 기반 3D super-resolution에서는 공간 일관성을 높이기 위해 VSR 모델을 참조하여 view consistency 문제를 완화합니다.

관련 프로젝트

2건

연구 흐름

초기 연구는 뉴럴 필드 및 암묵적 신경망 표현의 학습 효율과 영상처리 연계 가능성을 탐색하며, 빠른 학습이 가능한 고효율 표현을 목표로 했습니다. 이후 3D Gaussian Splatting으로 전환해 뷰 간 제약이 불완전한 설정에서도 pose-free·prior-free 재구성을 달성하는 방향으로 확장했습니다. 다음 단계에서는 희소 뷰에서 디테일이 부족해지는 문제를 generative densification으로 해결하고, 과최적화 위험을 줄이면서 feed-forward 경로를 유지하는 방법을 발전시켰습니다. 최근에는 Gaussians 수를 최소화하는 OMG류 표현과 비디오 기반 super-resolution 연구로 효율과 품질을 함께 개선하는 궤적을 형성했습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

pose-free 3D 재구성 파이프라인
희소 뷰 디테일 복원
3D 표현 압축 및 경량화
실시간 렌더링용 Gaussian 최적화
비디오 기반 3D super-resolution
크로스 데이터셋 일반화 모듈
고속 학습 뉴럴 표현 스키마
품질-연산 트레이드오프 제어
증강현실용 3D 콘텐츠 생성
3D 관측 기반 공간 분석 전처리