최근의 학습 기반 다중 시점 입체(Multi-View Stereo, MVS)는 카메라 간 거리가 유의미하게 큰 환경이나 복잡한 형상의 물체를 촬영하는 경우와 같이 대규모 가림(occlusion) 상황에서 여전히 정확도가 충분하지 않다. 이는 가림 영역에서 추출된 잘못된 이미지 특징이 비용 볼륨(cost volume) 구성 과정에서 중요한 잡음으로 작용하기 때문이다. 이를 해결하기 위해 명시적 3D 기하를 기반으로 표면 법선 가중(surface normal weighting)을 사용하는 가시성 인지(visibility-aware) MVS인 SnowMVSNet을 제안한다. SnowMVSNet은 시점 간 가시성(inter-view visibility)을 계산하여 비용 볼륨 구성 시 불일치하는 특징을 선택적으로 억제한다. 또한 표면 법선 prior를 사용하여 깊이 가설(depth hypotheses)들 중에서 참 깊이를 향상시키는 기하 유도 비용 볼륨 정규화(regularization)를 제시한다. 더불어 기준 시점(reference view) 내에서 기하적으로 더 가시적인 픽셀을 구분하는 시점 내(intra-view) 가시성도 제안한다. 시점 내 가시성을 활용하여 가시성 가중(visibility-weighted) 학습 및 깊이 추정 방법을 도입한다. 이러한 방법들은 가시 영역에 집중함으로써 네트워크가 정확한 3D 점군(point cloud) 재구성을 달성할 수 있게 한다. 단순한 시점 간 및 시점 내 가시성 계산에 기반한 SnowMVSNet은 계산 복잡도 대비 특히 가림 견고성(occlusion robustness) 측면에서 큰 성능 향상을 달성한다. 가림 견고성을 평가하기 위해 자기 가림(self-occlusion)에 취약한 일반적인 인간 신체 형상을 포함하는 다중 시점 인간(MVHuman) 데이터셋을 구축하였다. 광범위한 실험 결과, SnowMVSNet은 저가림 및 고가림 시나리오 모두에서 최첨단 방법들을 유의미하게 능가함을 확인하였다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.