본 연구에서는 단일 RGB 이미지를 기하(geometry), 재질(material), 조명(lighting)으로 분해하는 확산 기반 역렌더링(inverse rendering) 프레임워크를 제안한다. 역렌더링은 본질적으로 부적절 문제(ill-posed)이며, 단일의 정확한 해를 예측하기 어렵다. 이러한 과제를 해결하기 위해 최근 생성 모델 기반 방법들은 가능한 해의 범위를 제시하고자 한다. 그러나 단일의 정확한 해를 찾는 것과 다양한 해를 생성하는 일은 서로 상충할 수 있다. 본 논문에서는 이러한 두 가지 상충하는 목표를 동시에 달성할 수 있도록 채널별 노이즈 스케줄링(channel-wise noise scheduling) 접근을 제안한다. 서로 다른 채널별 노이즈 스케줄로 학습된 결과의 두 개의 확산 모델은 단일의 고정밀 해를 예측하는 동시에 여러 가능한 해를 제시할 수 있다. 실험 결과는 다양성과 정확성 모두에서 우리의 두 모델이 우수함을 보여주며, 이는 객체 삽입(object insertion)과 재질 편집(material editing)과 같은 하류(downstream) 응용에서의 성능 향상으로 이어진다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.