본 논문에서는 고주파 영역에 강인한 새로운 3D 장면 재구성 네트워크를 제안한다. 이는 정확하고 다양한 3D 정보를 추출하기 위해 다중 3D 특징 볼륨을 활용한다. 기존의 복셀 표현 기반 방법은 경사진 서랍 부품 및 책상 모서리와 같은 고주파 영역에서 성능이 좋지 않았다. 또한 벽과 바닥처럼 특징점이 적은 저주파 영역에서도 성능이 저조했다. 이러한 문제를 해결하기 위해, RGB 이미지로부터 에지 표면 법선(edge surface normal) 영상을 추출하고 새로운 분기(branch)를 구성하는 방식으로 다양한 백본 네트워크를 제안한다. 에지 영상은 고주파 영역에 대한 정보를 제공할 수 있으며, 표면 법선 영상은 에지 영상에서의 정보 부족을 보완할 수 있다. 그 결과, 3D 정보뿐 아니라 고주파 영역의 값도 추가될 수 있다. 이러한 입력을 새로운 분기에 적용하면, ConvNeXt 및 Swin Transformer와 같은 다양한 백본 네트워크가 정확한 3D 정보를 유지하는 2D 이미지 특징을 추출한다. 우리는 고주파 영역에서의 강인한 성능을 달성하기 위해, 백본 네트워크의 계층적 구조와 unprojection을 사용하여 전체 장면으로부터 세밀한 장면을 표현할 수 있는 네트워크를 설계하였다. 제안한 방법은 ScanNet 데이터셋에서 정량적이고 정형화된(정형화된) 3D 재구성 결과에서 이전 방법들보다 우수함을 보인다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.