본 논문에서는 기존의 기하학적 재순위를 대체하기 위해, 다양한 기하학적 매칭 가능성을 학습하는 4D 합성곱 신경망을 활용하는 새로운 이미지 검색 네트워크인 Correlation Verification Network (CVNet)를 제안한다. 효율적인 교차 스케일 매칭을 가능하게 하기 위해, 우리는 특징 피라미드를 구성하고 단일 추론 과정에서 교차 스케일 특징 상관관계를 수립함으로써, 비용이 큰 다중 스케일 추론을 대체한다. 또한, 어려운 샘플을 처리하기 위해 Hide-and-Seek 전략을 적용한 커리큘럼 러닝을 사용한다. 제안하는 CVNet은 여러 이미지 검색 벤치마크에서 큰 폭으로 최첨단 성능을 보인다. 그러나 구현 관점에서 CVNet에는 한 가지 단점이 있다. 즉, 모든 데이터베이스 이미지의 조밀한 특징을 저장해야 하므로 높은 메모리 사용량을 요구한다는 점이다. 이러한 높은 메모리 요구사항은 실제 응용에서의 중요한 제한 요소가 될 수 있다. 이 문제를 해결하기 위해, 데이터베이스 이미지의 특징을 희소화(sparsifying)하여 메모리 사용량을 유의미하게 줄일 수 있는 CVNet의 확장 버전인 Dense-to-Sparse CVNet (CVNet)을 제안한다. CVNet의 희소화 모듈은 Gumbel 추정기를 사용하여 이미지 특징의 관련 부분을 종단 간(end-to-end)으로 선택하는 방법을 학습한다. 희소화가 오프라인으로 수행되므로 CVNet은 온라인 추출 및 매칭 시간을 증가시키지 않는다. CVNet은 성능 수준을 거의 동일하게 유지하면서 메모리 사용량을 극적으로 감소시킨다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.