신경 복사(Neural Radiance Fields, NeRF)와 3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)의 등장은 새로운 관점 합성(Novel View Synthesis, NVS)을 진전시켰다. 그러나 이러한 방법들은 고품질 RGB 입력과 정확한 대응 포즈를 필요로 하므로, 빠른 카메라 운동이나 불리한 조명과 같은 실제 환경 조건에서는 강건성이 제한된다. 각 픽셀에서 밝기 변화를 높은 시간 해상도와 넓은 동적 범위로 포착하는 이벤트 카메라는, 역동적인 장면을 정밀하게 감지할 수 있게 해 주며 유망한 해결책을 제공한다. 하지만 기존의 이벤트 기반 NVS 방법들은 알려진 포즈를 가정하거나, 초기 관측에 의해 제약되는 깊이 추정 모델에 의존하여 카메라가 이전에 보지 못한 영역을 통과할 때 일반화하지 못한다. 본 연구에서는 이벤트 스트림만을 사용하여 포즈 없이(free) 동작하는 프레임워크 E2EGS를 제시한다. 우리의 핵심 통찰은 가장자리(edge) 정보가 정확한 궤적 추정과 고품질 NVS에 필수적인 풍부한 구조적 단서를 제공한다는 점이다. 잡음이 섞인 이벤트 스트림에서 가장자리를 추출하기 위해, 가장자리와 비-가장자리 영역의 뚜렷한 시공간적 특성을 활용한다. 이벤트 카메라의 움직임은 가장자리에서 일관된 이벤트를 유도하는 반면, 비-가장자리 영역에서는 드문드문한 잡음이 발생한다. 우리는 국소 분산을 측정하는 패치 기반 시간적 일관성 분석을 통해 이를 활용하여, 잡음은 강건하게 억제하면서 가장자리를 추출한다. 추출된 가장자리는 구조를 인지하는 가우시안 초기화에 가이드가 되며, 초기화, 트래킹, 번치 조정(bundle adjustment)에 이르기까지 가장자리 가중 손실(edge-weighted loss)을 가능하게 한다. 합성 및 실제 데이터셋에 대한 광범위한 실험 결과, E2EGS는 더 우수한 재구성 품질과 궤적 정확도를 달성하여, 이벤트 기반 3D 재구성을 위한 완전한 포즈 비의존 패러다임을 입증한다.

신경 복사도 필드(neural radiance fields, NeRF)와 3D 가우시안 스플래팅(3D Gaussian splatting, 3DGS)의 등장은 새로운 시점 합성(NVS)을 진전시켰다. 그러나 이러한 방법들은 고품질 RGB 입력과 정확한 대응 자세를 요구하므로, 빠른 카메라 운동이나 불리한 조명과 같은 실제 환경에서의 강건성이 제한된다. 이벤트 카메라는 각 픽셀의 밝기 변화를 고해상도 시간 분해능과 넓은 동적 범위로 포착하여, 동적 장면에 대한 정밀한 감지를 가능하게 하고 유망한 해결책을 제공한다. 하지만 기존의 이벤트 기반 NVS 방법들은 알려진 자세를 가정하거나, 초기 관측에 의해 범위가 제한되는 깊이 추정 모델에 의존하여, 카메라가 이전에 관측되지 않은 영역을 통과할 때 일반화에 실패한다. 본 연구에서는 이벤트 스트림만을 사용하여 동작하는 자세 비의존(pose-free) 프레임워크 E2EGS를 제안한다. 우리의 핵심 통찰은 에지 정보가 정확한 궤적 추정과 고품질 NVS에 필수적인 풍부한 구조적 단서를 제공한다는 점이다. 잡음이 섞인 이벤트 스트림에서 에지를 추출하기 위해, 에지와 비(非) 에지 영역의 구별되는 시공간적 특성을 활용한다. 카메라의 움직임은 에지를 따라 일관된 이벤트를 유발하는 반면, 비(非) 에지 영역은 희소한 잡음을 생성한다. 우리는 국소 분산을 측정하는 패치 기반 시간적 일관성 분석을 통해 이를 활용하여 잡음을 견고하게 억제하면서 에지를 추출한다. 추출된 에지는 구조를 인식하는 가우시안 초기화에 가이드를 제공하며, 초기화, 추적, 번들 조정(bundle adjustment) 전 과정에 걸쳐 에지 가중 손실을 가능하게 한다. 합성 및 실제 데이터셋 모두에서 수행한 광범위한 실험 결과, E2EGS는 더 우수한 재구성 품질과 궤적 정확도를 달성함을 보여주었으며, 이벤트 기반 3D 재구성을 위한 완전한 자세 비의존 패러다임을 정립한다.