신경 복사도 필드(neural radiance fields, NeRF)와 3D 가우시안 스플래팅(3D Gaussian splatting, 3DGS)의 등장은 새로운 시점 합성(NVS)을 진전시켰다. 그러나 이러한 방법들은 고품질 RGB 입력과 정확한 대응 자세를 요구하므로, 빠른 카메라 운동이나 불리한 조명과 같은 실제 환경에서의 강건성이 제한된다. 이벤트 카메라는 각 픽셀의 밝기 변화를 고해상도 시간 분해능과 넓은 동적 범위로 포착하여, 동적 장면에 대한 정밀한 감지를 가능하게 하고 유망한 해결책을 제공한다. 하지만 기존의 이벤트 기반 NVS 방법들은 알려진 자세를 가정하거나, 초기 관측에 의해 범위가 제한되는 깊이 추정 모델에 의존하여, 카메라가 이전에 관측되지 않은 영역을 통과할 때 일반화에 실패한다. 본 연구에서는 이벤트 스트림만을 사용하여 동작하는 자세 비의존(pose-free) 프레임워크 E2EGS를 제안한다. 우리의 핵심 통찰은 에지 정보가 정확한 궤적 추정과 고품질 NVS에 필수적인 풍부한 구조적 단서를 제공한다는 점이다. 잡음이 섞인 이벤트 스트림에서 에지를 추출하기 위해, 에지와 비(非) 에지 영역의 구별되는 시공간적 특성을 활용한다. 카메라의 움직임은 에지를 따라 일관된 이벤트를 유발하는 반면, 비(非) 에지 영역은 희소한 잡음을 생성한다. 우리는 국소 분산을 측정하는 패치 기반 시간적 일관성 분석을 통해 이를 활용하여 잡음을 견고하게 억제하면서 에지를 추출한다. 추출된 에지는 구조를 인식하는 가우시안 초기화에 가이드를 제공하며, 초기화, 추적, 번들 조정(bundle adjustment) 전 과정에 걸쳐 에지 가중 손실을 가능하게 한다. 합성 및 실제 데이터셋 모두에서 수행한 광범위한 실험 결과, E2EGS는 더 우수한 재구성 품질과 궤적 정확도를 달성함을 보여주었으며, 이벤트 기반 3D 재구성을 위한 완전한 자세 비의존 패러다임을 정립한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.