신경 복사(Neural Radiance Fields, NeRF)와 3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)의 등장은 새로운 관점 합성(Novel View Synthesis, NVS)을 진전시켰다. 그러나 이러한 방법들은 고품질 RGB 입력과 정확한 대응 포즈를 필요로 하므로, 빠른 카메라 운동이나 불리한 조명과 같은 실제 환경 조건에서는 강건성이 제한된다. 각 픽셀에서 밝기 변화를 높은 시간 해상도와 넓은 동적 범위로 포착하는 이벤트 카메라는, 역동적인 장면을 정밀하게 감지할 수 있게 해 주며 유망한 해결책을 제공한다. 하지만 기존의 이벤트 기반 NVS 방법들은 알려진 포즈를 가정하거나, 초기 관측에 의해 제약되는 깊이 추정 모델에 의존하여 카메라가 이전에 보지 못한 영역을 통과할 때 일반화하지 못한다. 본 연구에서는 이벤트 스트림만을 사용하여 포즈 없이(free) 동작하는 프레임워크 E2EGS를 제시한다. 우리의 핵심 통찰은 가장자리(edge) 정보가 정확한 궤적 추정과 고품질 NVS에 필수적인 풍부한 구조적 단서를 제공한다는 점이다. 잡음이 섞인 이벤트 스트림에서 가장자리를 추출하기 위해, 가장자리와 비-가장자리 영역의 뚜렷한 시공간적 특성을 활용한다. 이벤트 카메라의 움직임은 가장자리에서 일관된 이벤트를 유도하는 반면, 비-가장자리 영역에서는 드문드문한 잡음이 발생한다. 우리는 국소 분산을 측정하는 패치 기반 시간적 일관성 분석을 통해 이를 활용하여, 잡음은 강건하게 억제하면서 가장자리를 추출한다. 추출된 가장자리는 구조를 인지하는 가우시안 초기화에 가이드가 되며, 초기화, 트래킹, 번치 조정(bundle adjustment)에 이르기까지 가장자리 가중 손실(edge-weighted loss)을 가능하게 한다. 합성 및 실제 데이터셋에 대한 광범위한 실험 결과, E2EGS는 더 우수한 재구성 품질과 궤적 정확도를 달성하여, 이벤트 기반 3D 재구성을 위한 완전한 포즈 비의존 패러다임을 입증한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.