본 논문에서는 다중 시점 이미지를 활용하여 장면을 기하(geometry), SVBRDF, 그리고 3차원 공간적으로 변하는 조명(spatially-varying lighting)으로 분해하는 장면 수준 역렌더링(scene-level inverse rendering) 프레임워크를 제안한다. 다중 시점 이미지는 객체 수준 역렌더링에 널리 사용되어 왔으나, 장면 수준 역렌더링은 주로 단일 시점 이미지에 기반하여 연구되어 왔는데, 이는 실제 정답인 기하, 재료(material), 그리고 공간적으로 변하는 조명을 포함한 고다이내믹 레인지(high dynamic range) 다중 시점 이미지를 담은 데이터셋이 부족하기 때문이다. 장면 수준 역렌더링의 품질을 향상시키기 위해, 최근 Multi-view Attention Inverse Rendering(MAIR)이라는 새로운 프레임워크가 도입되었다. MAIR은 OpenRooms 데이터셋을 확장하고, 다중 시점 이미지를 처리하기 위한 효율적인 파이프라인을 설계하며, 공간적으로 변하는 조명을 분리함으로써 장면 수준의 다중 시점 역렌더링을 수행한다. MAIR은 인상적인 결과를 보였지만, 조명 표현이 구면 가우시안(spherical Gaussians)에 고정되어 있어 현실적인 렌더링 이미지 생성 능력이 제한된다. 따라서 MAIR은 재료 편집(material editing)과 같은 응용 분야에 그대로 활용할 수 없다. 또한, MAIR의 다중 시점 집계 네트워크는 다중 시점 특징들 사이의 평균과 분산에만 초점을 맞추기 때문에 풍부한 특징을 추출하는 데 어려움이 있다. 본 논문에서는 이러한 한계를 해결한 확장 버전인 MAIR++를 제안한다. MAIR++는 사실적인 렌더링을 가능하게 하면서도 이미지의 조명 조건을 정확히 포착하는 암시적 조명 표현(implicit lighting representation)을 도입하여 앞서 언급한 한계를 개선한다. 아울러, 관측 뷰(view) 간의 보다 복잡한 관계를 추론하기 위해 방향성 어텐션(directional attention) 기반의 다중 시점 집계 네트워크를 설계한다. 실험 결과는 MAIR++가 MAIR 및 단일 시점 기반 방법을 모두 능가할 뿐 아니라, 보지 못한 실제 장면에서도 견고한 성능을 보임을 나타낸다.

단일 이미지 초해상화(SISR)는 저해상도 관측으로부터 고해상도 이미지를 재구성하는 것을 목표로 한다. 최근의 딥러닝 기반 SISR 모델은 연산 비용의 증가를 대가로 높은 성능을 보이며, 이는 자원 제약 환경에서의 활용을 제한한다. 연산 효율적인 네트워크 설계를 위한 유망한 해결책으로서 네트워크 양자화는 광범위하게 연구되어 왔다. 그러나 SISR을 위해 개발된 기존의 양자화 방법들은 이미지의 자기유사성(self-similarity)을 효과적으로 활용하지 못한 채로 있으며, 이는 본 연구에서 새롭게 탐색할 방향이다. 본 연구에서는 이미지 초해상화를 위한 참조 기반 양자화(reference-based quantization) 방법인 RefQSR을 새롭게 제안한다. RefQSR은 이미지 내에서 여러 대표 패치에 대해 고비트 양자화를 적용하고, 이를 나머지 패치의 저비트 양자화를 위한 참조로 활용한다. 이를 위해 우리는 전용 패치 클러스터링 및 참조 기반 양자화 모듈을 설계하고, 기존 SISR 네트워크 양자화 방법에 이를 통합한다. 실험 결과는 다양한 SISR 네트워크 및 양자화 방법에서 RefQSR의 유효성을 입증한다.