본 논문에서는 다중 시점 이미지를 활용하여 장면을 기하(geometry), SVBRDF, 그리고 3차원 공간적으로 변하는 조명(spatially-varying lighting)으로 분해하는 장면 수준 역렌더링(scene-level inverse rendering) 프레임워크를 제안한다. 다중 시점 이미지는 객체 수준 역렌더링에 널리 사용되어 왔으나, 장면 수준 역렌더링은 주로 단일 시점 이미지에 기반하여 연구되어 왔는데, 이는 실제 정답인 기하, 재료(material), 그리고 공간적으로 변하는 조명을 포함한 고다이내믹 레인지(high dynamic range) 다중 시점 이미지를 담은 데이터셋이 부족하기 때문이다. 장면 수준 역렌더링의 품질을 향상시키기 위해, 최근 Multi-view Attention Inverse Rendering(MAIR)이라는 새로운 프레임워크가 도입되었다. MAIR은 OpenRooms 데이터셋을 확장하고, 다중 시점 이미지를 처리하기 위한 효율적인 파이프라인을 설계하며, 공간적으로 변하는 조명을 분리함으로써 장면 수준의 다중 시점 역렌더링을 수행한다. MAIR은 인상적인 결과를 보였지만, 조명 표현이 구면 가우시안(spherical Gaussians)에 고정되어 있어 현실적인 렌더링 이미지 생성 능력이 제한된다. 따라서 MAIR은 재료 편집(material editing)과 같은 응용 분야에 그대로 활용할 수 없다. 또한, MAIR의 다중 시점 집계 네트워크는 다중 시점 특징들 사이의 평균과 분산에만 초점을 맞추기 때문에 풍부한 특징을 추출하는 데 어려움이 있다. 본 논문에서는 이러한 한계를 해결한 확장 버전인 MAIR++를 제안한다. MAIR++는 사실적인 렌더링을 가능하게 하면서도 이미지의 조명 조건을 정확히 포착하는 암시적 조명 표현(implicit lighting representation)을 도입하여 앞서 언급한 한계를 개선한다. 아울러, 관측 뷰(view) 간의 보다 복잡한 관계를 추론하기 위해 방향성 어텐션(directional attention) 기반의 다중 시점 집계 네트워크를 설계한다. 실험 결과는 MAIR++가 MAIR 및 단일 시점 기반 방법을 모두 능가할 뿐 아니라, 보지 못한 실제 장면에서도 견고한 성능을 보임을 나타낸다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.