본 논문에서는 기존의 기하학적 재순위를 대체하기 위해, 다양한 기하학적 매칭 가능성을 학습하는 4D 합성곱 신경망을 활용하는 새로운 이미지 검색 네트워크인 Correlation Verification Network (CVNet)를 제안한다. 효율적인 교차 스케일 매칭을 가능하게 하기 위해, 우리는 특징 피라미드를 구성하고 단일 추론 과정에서 교차 스케일 특징 상관관계를 수립함으로써, 비용이 큰 다중 스케일 추론을 대체한다. 또한, 어려운 샘플을 처리하기 위해 Hide-and-Seek 전략을 적용한 커리큘럼 러닝을 사용한다. 제안하는 CVNet은 여러 이미지 검색 벤치마크에서 큰 폭으로 최첨단 성능을 보인다. 그러나 구현 관점에서 CVNet에는 한 가지 단점이 있다. 즉, 모든 데이터베이스 이미지의 조밀한 특징을 저장해야 하므로 높은 메모리 사용량을 요구한다는 점이다. 이러한 높은 메모리 요구사항은 실제 응용에서의 중요한 제한 요소가 될 수 있다. 이 문제를 해결하기 위해, 데이터베이스 이미지의 특징을 희소화(sparsifying)하여 메모리 사용량을 유의미하게 줄일 수 있는 CVNet의 확장 버전인 Dense-to-Sparse CVNet (CVNet)을 제안한다. CVNet의 희소화 모듈은 Gumbel 추정기를 사용하여 이미지 특징의 관련 부분을 종단 간(end-to-end)으로 선택하는 방법을 학습한다. 희소화가 오프라인으로 수행되므로 CVNet은 온라인 추출 및 매칭 시간을 증가시키지 않는다. CVNet은 성능 수준을 거의 동일하게 유지하면서 메모리 사용량을 극적으로 감소시킨다.

3차원 라이다(light detection and ranging, 3D LiDAR) 센서는 자율주행 차량에서 널리 사용된다. 3D LiDAR를 활용하는 다양한 인식 문제들 가운데 주행 가능 영역(drivable region, DR) 식별은 가장 중요한 문제 중 하나이다. 본 논문에서는 3D LiDAR를 이용한 DR 식별을 완성(completion) 문제로 재정식화한다. 즉, 가상 점들이 DR을 가능한 한 조밀하고 균일하게 덮도록 가상 점을 생성하여, DR을 충분히 잘 표현하는 것이 문제이다. 본 논문에서 다루는 문제를 DR 완성 문제라고 명명한다. DR 완성 문제(DRC)를 해결하기 위해 Drivable Region Completion Network(DRCN)라는 새로운 네트워크를 제안한다. 제안하는 DRCN은 인코더 부분과 디코더 부분으로 구성된다. 인코더 부분은 두 개의 인코더로 이루어진다. 첫 번째는 다층 퍼셉트론(multi-layer perceptron, MLP) 인코더이며, 주어진 라이다 점들의 전역(global) 특징을 포착한다. 두 번째는 Point Pyramid Network(PPN) 인코더로 명명되며, 점군(point cloud) 내에서 점들 사이의 국소(local) 특징을 추출한다. 디코더 부분은 거친-것에서-정교한(coarse-to-fine) 구조를 취하며, 거친 디코더와 정교화(refinement) 디코더로 구성된다. 거친 디코더는 DR에 대한 시드(seed) 점을 예측한다. 정교화 디코더는 시드 점을 정교화하여 최종의 조밀한 DR 점들을 예측한다. 마지막으로, 제안하는 DRCN을 평가를 위해 SemanticKITTI 데이터셋에 적용한다. 제안하는 DRCN은 우리의 DRCN이 정확도 측면에서 다른 DR 탐지 방법들보다 성능이 우수함을 보임으로써 검증된다.

이 논문은 RGB-D 카메라를 사용하는 새로운 특징 기반 시각 동시적 위치 추정 및 지도 작성(visual simultaneous localization and mapping, v-SLAM)인 유한 평면(finite-plane, FP)-SLAM을 소개한다. 구체적으로, 본 논문에서 해결하고자 하는 문제는 RGB-D 영상으로부터 희소 특징을 효과적으로 추출하고, CPU에서 실시간으로 자세와 희소 특징으로 구성된 그래프를 가능한 한 정확하게 구축하는 것이다. 표면점(surfel)-점 SLAM(surfel-point SLAM, SP-SLAM)에 의해 동기부여된 FP-SLAM은 RGB-D 영상에서 점과 서펠을 희소 특징으로 추출하고 자세와 특징 그래프를 함께 최적화한다. 그러나 SP-SLAM에 비해 FP-SLAM의 그래프 최적화를 위해 정확도를 향상시키는 두 가지 새로운 잔차(residuals)를 제안한다. 이러한 새로운 잔차는 서펠-서펠(surfel-surfel, SS) 및 점-서펠(point-surfel, PS) 간의 관계를 활용하여 특징 간의 연관성을 포착한다. SP-SLAM에서의 잔차와 함께 이 새로운 잔차들을 통합함으로써, 점, 서펠 및 카메라 자세를 동시에 최적화하기 위해 총 네 가지 잔차가 사용된다. 또한 처리 속도를 높이기 위해, 최적화 과정에서 오프더셸프(기성) 미분 모듈을 사용하는 대신 오차 함수의 자코비안(Jacobian)을 직접 구현하여 처리 시간을 단축한다. 마지막으로, 제안된 FP-SLAM의 유효성은 국소화 정확도 측면에서 기존 방법들과 비교하여 벤치마크 데이터셋에서 검증한다.

본 논문에서는 기존의 기하학적 재순위를 대체하기 위해, 다양한 기하학적 매칭 가능성을 학습하는 4D 합성곱 신경망을 활용하는 새로운 이미지 검색 네트워크인 Correlation Verification Network (CVNet)를 제안한다. 효율적인 교차 스케일 매칭을 가능하게 하기 위해, 우리는 특징 피라미드를 구성하고 단일 추론 과정에서 교차 스케일 특징 상관관계를 수립함으로써, 비용이 큰 다중 스케일 추론을 대체한다. 또한, 어려운 샘플을 처리하기 위해 Hide-and-Seek 전략을 적용한 커리큘럼 러닝을 사용한다. 제안하는 CVNet은 여러 이미지 검색 벤치마크에서 큰 폭으로 최첨단 성능을 보인다. 그러나 구현 관점에서 CVNet에는 한 가지 단점이 있다. 즉, 모든 데이터베이스 이미지의 조밀한 특징을 저장해야 하므로 높은 메모리 사용량을 요구한다는 점이다. 이러한 높은 메모리 요구사항은 실제 응용에서의 중요한 제한 요소가 될 수 있다. 이 문제를 해결하기 위해, 데이터베이스 이미지의 특징을 희소화(sparsifying)하여 메모리 사용량을 유의미하게 줄일 수 있는 CVNet의 확장 버전인 Dense-to-Sparse CVNet (CVNet)을 제안한다. CVNet의 희소화 모듈은 Gumbel 추정기를 사용하여 이미지 특징의 관련 부분을 종단 간(end-to-end)으로 선택하는 방법을 학습한다. 희소화가 오프라인으로 수행되므로 CVNet은 온라인 추출 및 매칭 시간을 증가시키지 않는다. CVNet은 성능 수준을 거의 동일하게 유지하면서 메모리 사용량을 극적으로 감소시킨다.

3차원 라이다(light detection and ranging, 3D LiDAR) 센서는 자율주행 차량에서 널리 사용된다. 3D LiDAR를 활용하는 다양한 인식 문제들 가운데 주행 가능 영역(drivable region, DR) 식별은 가장 중요한 문제 중 하나이다. 본 논문에서는 3D LiDAR를 이용한 DR 식별을 완성(completion) 문제로 재정식화한다. 즉, 가상 점들이 DR을 가능한 한 조밀하고 균일하게 덮도록 가상 점을 생성하여, DR을 충분히 잘 표현하는 것이 문제이다. 본 논문에서 다루는 문제를 DR 완성 문제라고 명명한다. DR 완성 문제(DRC)를 해결하기 위해 Drivable Region Completion Network(DRCN)라는 새로운 네트워크를 제안한다. 제안하는 DRCN은 인코더 부분과 디코더 부분으로 구성된다. 인코더 부분은 두 개의 인코더로 이루어진다. 첫 번째는 다층 퍼셉트론(multi-layer perceptron, MLP) 인코더이며, 주어진 라이다 점들의 전역(global) 특징을 포착한다. 두 번째는 Point Pyramid Network(PPN) 인코더로 명명되며, 점군(point cloud) 내에서 점들 사이의 국소(local) 특징을 추출한다. 디코더 부분은 거친-것에서-정교한(coarse-to-fine) 구조를 취하며, 거친 디코더와 정교화(refinement) 디코더로 구성된다. 거친 디코더는 DR에 대한 시드(seed) 점을 예측한다. 정교화 디코더는 시드 점을 정교화하여 최종의 조밀한 DR 점들을 예측한다. 마지막으로, 제안하는 DRCN을 평가를 위해 SemanticKITTI 데이터셋에 적용한다. 제안하는 DRCN은 우리의 DRCN이 정확도 측면에서 다른 DR 탐지 방법들보다 성능이 우수함을 보임으로써 검증된다.

이 논문은 RGB-D 카메라를 사용하는 새로운 특징 기반 시각 동시적 위치 추정 및 지도 작성(visual simultaneous localization and mapping, v-SLAM)인 유한 평면(finite-plane, FP)-SLAM을 소개한다. 구체적으로, 본 논문에서 해결하고자 하는 문제는 RGB-D 영상으로부터 희소 특징을 효과적으로 추출하고, CPU에서 실시간으로 자세와 희소 특징으로 구성된 그래프를 가능한 한 정확하게 구축하는 것이다. 표면점(surfel)-점 SLAM(surfel-point SLAM, SP-SLAM)에 의해 동기부여된 FP-SLAM은 RGB-D 영상에서 점과 서펠을 희소 특징으로 추출하고 자세와 특징 그래프를 함께 최적화한다. 그러나 SP-SLAM에 비해 FP-SLAM의 그래프 최적화를 위해 정확도를 향상시키는 두 가지 새로운 잔차(residuals)를 제안한다. 이러한 새로운 잔차는 서펠-서펠(surfel-surfel, SS) 및 점-서펠(point-surfel, PS) 간의 관계를 활용하여 특징 간의 연관성을 포착한다. SP-SLAM에서의 잔차와 함께 이 새로운 잔차들을 통합함으로써, 점, 서펠 및 카메라 자세를 동시에 최적화하기 위해 총 네 가지 잔차가 사용된다. 또한 처리 속도를 높이기 위해, 최적화 과정에서 오프더셸프(기성) 미분 모듈을 사용하는 대신 오차 함수의 자코비안(Jacobian)을 직접 구현하여 처리 시간을 단축한다. 마지막으로, 제안된 FP-SLAM의 유효성은 국소화 정확도 측면에서 기존 방법들과 비교하여 벤치마크 데이터셋에서 검증한다.

DAVIS 2016 검증 세트에서 각각 프레임당 0.12초와 0.13초이며, 두 네트워크는 STM과 유사한 계산 시간을 가진다.

최근 3D Gaussian Splatting 및 NeRF와 같은 방사도 필드(radiance field) 기반 지도 표현은 사실적인 묘사에 탁월하여 상당한 주목을 받아 왔고, 이를 SLAM과 결합하려는 시도도 이어지고 있다. 이러한 접근법은 매우 사실적인 지도를 구축할 수 있으나, 대규모 SLAM은 여전히 어려운 과제로 남아 있는데, 이는 매핑을 위해 많은 수의 Gaussian 이미지가 필요하고, 추적을 위해 인접한 이미지들을 키프레임으로 사용해야 하기 때문이다. 우리는 대규모 실내 환경을 대상으로 RGB-D 및 IMU 센서의 센서 융합을 활용하는 새로운 3D Gaussian Splatting SLAM 방법인 VIGS SLAM을 제안한다. 3DGS 기반 추적의 계산 부담을 줄이기 위해, 정확한 자세 추정을 위한 양호한 초기 추정을 제공하는 IMU 프리인테그레이션(IMU preintegration)을 ICP 기반 추적 프레임워크와 결합한다. 제안하는 방법은 IMU 센서 측정치를 통합함으로써 Gaussian Splatting 기반 SLAM을 대규모 환경에서도 효과적으로 수행할 수 있음을 최초로 제안한다. 이 제안은 Gaussian Splatting SLAM의 성능을 실내 규모(room-scale) 시나리오를 넘어 향상시키는 동시에, 대규모 실내 환경에서 기존의 최신(state-of-the-art) 방법들과 견줄 만한 SLAM 성능을 달성한다.

인간은 모든 것을 기억하지는 않는다. 따라서 인간은 과거 이미지를 탐색함으로써 장면 변화를 인식한다. 그러나 이용 가능한 과거(즉, 기준) 이미지는 대체로 현재(즉, 질의) 장면의 인접한 관점들을 나타내며, 동일한 시점을 나타내지는 않는다. 이러한 실무적 제약에도 불구하고, 기존의 장면 변화 감지(Scene Change Detection, SCD)는 모든 질의에 대해 관점이 일치하는 기준 이미지가 이용 가능한 이상화된 환경에서 정식화되어 왔다. 본 논문에서는 이 문제를 보다 실용적인 과제로 확장하여 환경 변화 감지(Environmental Change Detection, ECD)를 제안한다. ECD의 핵심 측면은 비현실적으로 정렬된 질의-기준 쌍을 피하고, 환경적 단서에만 의존하는 것이다. 실제 환경에서의 관행에 영감을 받아, 이러한 단서를 선별되지 않은 대규모 이미지 데이터베이스를 통해 제공한다. 이 새로운 과제를 다루기 위해, 공간 환경을 함께 이해하고 변화를 탐지하는 새로운 프레임워크를 제안한다. 핵심 아이디어는 질의와 기준 사이에서 동일한 공간 위치에서의 매칭을 수행하더라도, 관점 불일치 및 제한된 화각(FOV) 커버리지로 인해 차선의 해에 도달할 수 있다는 점이다. 우리는 복수의 기준 후보를 활용하고, 변화 감지를 위해 의미적으로 풍부한 표현을 집계함으로써 이 한계를 극복한다. 우리의 프레임워크는 ECD를 위해 재구성된 세 가지 표준 벤치마크 세트에서 평가되었으며, 최신 기법들의 단순한 결합에 비해 유의미하게 더 나은 성능을 보이면서도 오라클(oracle) 설정과 비교 가능한 성능을 달성한다. 코드는 심사 승인 시 공개될 예정이다.