인간-로봇 팀 협력을 효과적으로 수행하기 위해서는 로봇이 자신의 시각 인식을 인간 운영자와 공유할 수 있어야 한다. 열악한 원격 협업 환경에서는 오토인코더와 같은 데이터 압축 기법을 활용하여 잠재 변수(latent variables) 형태로 데이터를 획득하고, 이를 컴팩트한 형태로 전송할 수 있다. 또한 환경이 불안정하더라도 실시간 런타임 성능을 보장하기 위해, 불완전한 정보로부터 전체 내용을 복원할 수 있는(anytime) 추정 접근이 요구된다. 이러한 맥락에서, 일부 요소가 손실된 잠재 변수의 결측(imputation)을 위한 방법을 제안한다. 단지 몇 차원의 변수만을 사용하면서도 언제든지(anytime) 특성을 달성하기 위해서는 범주 수준(category-level)의 사전 정보(prior information)를 활용하는 것이 필수적이다. 변분 오토인코더(variational autoencoders)에서 사용하는 사전 분포는 훈련 데이터 각 샘플의 라벨과 무관하게 등방성 가우시안(isotropic Gaussian)으로 단순 가정된다. 이러한 형태의 평탄화된 사전 분포는 범주 수준의 분포로부터 결측 보간을 수행하기 어렵게 만든다. 본 연구는 잠재 공간(latent space)에서 범주 특화(category-specific) 다중모달(multi-modal) 사전 분포를 활용함으로써 이 한계를 극복한다. 부분적으로 전송된 데이터의 결측 요소는, 남아 있는 요소에 따라 특정 모달(modal)을 찾아 샘플링하여 복원할 수 있다. 제안된 방법은 부분 요소를 사용하여 언제든지 추정(anytime estimation)을 수행하도록 설계되었으므로, 데이터에 대한 과도한 압축(over-compression)에도 적용할 수 있다. ModelNet 및 Pascal3D 데이터셋에 대한 실험 결과, 본 접근법은 데이터 손실이 최대 70%까지 오토인코더 및 변분 오토인코더보다 일관되게 우수한 성능을 보였다. 소프트웨어는 오픈 소스이며, 우리의 저장소 ¹에서 제공된다.

본 논문에서는 저지연 추적 및 매핑을 유지하면서 언어 정렬된 조밀한 특징 필드를 재구성하는 RGB-D SLAM 시스템을 제안한다. 먼저 고차원 특징 맵을 효율적으로 렌더링하기 위한 고처리량이면서 의미 왜곡이 없는 방법인 Top-K 렌더링 파이프라인을 소개한다. 그로 인해 발생하는 의미-기하 불일치 문제를 해결하고 메모리 사용량을 완화하기 위해, 장면의 무결성을 보존하면서 중복되거나 일관되지 않은 가우시안(gaussians)을 가지치기(pruning)하는 다기준 맵 관리 전략을 추가로 설계한다. 마지막으로, 필드의 특성에 따라 기하 및 의미 필드의 최적화 주기를 분리하여 실시간 제약 하에서 두 필드를 함께 정제하는 하이브리드 필드 최적화 프레임워크를 제안한다. 제안된 시스템은 기하만 사용하는 기준선에 비해 더 우수한 기하 충실도를 달성하며, 오프라인 접근법과 비교할 때는 유사한 의미 충실도를 15 FPS로 제공한다. 본 연구 결과는 언어 정렬된 조밀하고 압축되지 않은 특징 필드를 이용한 온라인 SLAM이 가능하고 효과적임을 보여주며, 3D 지각과 언어 기반 추론 간의 간극을 연결한다.