신경 복사장(Neural Radiance Fields)에서 상당한 진전이 있었음에도 불구하고, 동적 조명 변화에 관한 문제는 여전히 해결되지 않은 상태이다. 장면 내의 시간에 따른/시간에 불변인 구성요소를 매개변수화하는 관련 연구들과 달리, 피사체의 복사도(radiance)는 시공간 영역에서 자기 자신의 방출 복사도와 조명 색상과 강하게 얽혀 있다. 본 논문에서는 심각한 조명 변화 하에서도 분리된(disentangled) 신경장(neural fields)을 학습하기 위한 새로운 효과적인 방법인 RehearsalNeRF를 제안한다. 우리의 핵심 아이디어는 동적 조명이 발생하기 전에 쉽게 촬영할 수 있는 연습 무대(rehearsal stages)와 같은 안정적인 조명 하에서 포착된 장면을 활용하여, 서로 다른 조명 조건 간의 기하학적 일관성을 강제하는 데 있다. 특히 RehearsalNeRF는 조명 효과를 위한 학습 가능 벡터를 사용하며, 이는 시간 차원에서 조명 색상을 나타내고, 투영된 빛의 색상을 장면의 복사도에서 분리하는 데 사용된다. 또한 RehearsalNeRF는 시판(interactive) 마스크를 그대로 채택하기만 함으로써 동적 객체의 신경장을 재구성할 수 있다. 동적 객체를 분리하기 위해서는, 색상 분리에 대한 거친 감독(coarse supervision)을 제공하는 광류(optical flow)를 활용한 새로운 정규화 항을 제안한다. 우리는 동적 조명 조건에서 새로운 시점 합성(novel view synthesis)과 장면 편집(scene editing)에서 RehearsalNeRF의 효과성을 견고한 성능으로 시연한다. 우리의 소스 코드와 비디오 데이터셋은 공개될 예정이다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.