최근 Dynamic NeRF 및 4D Gaussian Splatting(4DGS)과 같은 4D 표현의 발전은 동적인 4D 장면 재구성을 가능하게 하였다. 그러나 텍스트 기반 4D 장면 편집은 편집 과정에서 공간과 시간에 걸친 다중 시점 및 시간적 일관성을 모두 보장해야 하는 어려움으로 인해 상대적으로 충분히 탐구되지 못했다. 기존 연구는 2D 확산 모델에 의존하여 프레임을 독립적으로 편집하는 경우가 많으며, 이로 인해 운동 왜곡, 기하학적 드리프트, 그리고 불완전한 편집이 자주 발생한다. 본 연구에서는 Multimodal Diffusion Transformer(MM-DiT)와 4DGS를 활용하는 학습 없는(training-free) 텍스트 기반 4D 편집 프레임워크인 Dynamic-eDiTor를 제안한다. 이 메커니즘은 국소적으로 일관된 시점 간 및 시간적 융합을 위한 Spatio-Temporal Sub-Grid Attention(STGA)과, 토큰 상속과 광류(optical-flow) 기반 토큰 치환을 통해 전역적으로 전파하는 Context Token Propagation(CTP)로 구성된다. 이 두 구성요소를 함께 사용함으로써 Dynamic-eDiTor는 추가적인 학습 없이도 매끄럽고 전역적으로 일관된 다중 시점 영상을 생성할 수 있으며, 사전 학습된 소스 4DGS를 직접 최적화한다. 다중 시점 비디오 데이터셋 DyNeRF에 대한 광범위한 실험을 통해, 본 방법이 기존 접근법들에 비해 편집 충실도와 다중 시점 및 시간적 일관성을 모두 더 우수하게 달성함을 확인하였다. 결과 및 코드의 프로젝트 페이지: https://di-lee.github.io/dynamic-eDiTor/

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.