신경 복사도장(neural radiance fields)에서 상당한 진전이 있었음에도 불구하고, 동적 조명 변화에 관한 문제는 여전히 해결되지 않았다. 장면 내 시간-변화/시간-불변 성분을 매개변수화하는 관련 연구들과 달리, 피사체의 복사도는 시공간 영역에서 자기 자신이 방출하는 복사도 및 조명 색상과 매우 강하게 얽혀 있다. 본 논문에서는 심각한 조명 변화 하에서 분리된(disentangled) 신경 장을 학습하기 위한 새로운 효율적 방법인 RehearsalNeRF를 제안한다. 핵심 아이디어는 동적 조명이 발생하기 전에 쉽게 촬영할 수 있는 리허설 스테이지와 같은 안정적인 조명 조건에서 획득된 장면을 활용하여, 서로 다른 조명 조건 간의 기하학적 일관성을 강제하는 데 있다. 특히 RehearsalNeRF는 조명 효과를 위한 학습 가능한 벡터를 사용하며, 이는 시간 차원에서의 조명 색상을 나타내고, 투영된 빛의 색상을 장면 복사도에서 분리(disentangle)하는 데 사용된다. 또한 RehearsalNeRF는 시판(interactive) 마스크를 그대로 채택하는 것만으로 동적 객체의 신경 장을 재구성할 수 있다. 동적 객체를 분리하기 위해서는, 색상 분리(color disentanglement)에 대한 거친 감독(coarse supervision)을 제공하는 광류(optical flow)를 활용한 새로운 정규화 항을 제안한다. 동적 조명 조건에서 RehearsalNeRF의 유효성을 입증하기 위해, 새로운 시점 합성 및 장면 편집(scene editing)에서의 견고한 성능을 보인다. 소스 코드와 비디오 데이터셋은 공개될 예정이다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.