신경 복사장(Neural Radiance Fields, NeRFs)은 3차원 장면 표현과 새로운 시점 합성(novel view synthesis)을 위한 강력한 도구로 부상함에 따라, 무단 사용으로부터 이들의 지식재산권(IP)을 보호하는 것이 점점 더 중요해지고 있다. 본 연구에서는 NeRF의 무단 적용을 방해하는 적대적 교란(adversarial perturbations)을 주입함으로써 NeRF의 IP를 보호하고자 한다. 그러나 NeRF의 3차원 기하(geometry)를 교란하면 기저 장면 구조가 쉽게 변형되어, 렌더링 품질이 상당히 저하될 수 있으며, 이에 따라 기존 시도들은 기하 교란을 회피하거나 메시(mesh)와 같은 명시적 공간에 한정하는 방식으로 문제를 다루어 왔다. 이러한 한계를 극복하기 위해, 우리는 기하 교란이 렌더링 품질에 미치는 공간적으로 변화하는 영향을 정량화하기 위한 학습 가능한 민감도(sensitivity)를 제안한다. 이를 바탕으로, 우리는 AegisRF라는 새로운 프레임워크를 제안한다. AegisRF는 (i) Perturbation Field로, NeRF 모델의 사전 렌더링(pre-rendering) 출력(색(color)과 볼륨 밀도(volume density))에 적대적 교란을 주입하여 무단의 하위 다운스트림 타깃 모델을 속이는 구성과, (ii) Sensitivity Field로, 렌더링 품질을 보존하면서도 무단 사용을 방해하도록 기하 교란을 적응적으로 제한하기 위해 민감도를 학습하는 구성을 포함한다. 실험 평가 결과는, AegisRF가 다중 시점 이미지 분류(multi-view image classification)와 보셀(voxel) 기반 3차원 로컬라이제이션(voxel-based 3D localization) 등 다양한 다운스트림 작업과 양식(modality)에 걸쳐 일반화된 적용 가능성을 보이면서도 높은 시각적 충실도(visual fidelity)를 유지함을 보여준다. 코드는 https://github.com/wkim97/AegisRF 에서 제공된다.
*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.