기존의 오픈 어휘 객체 탐지(OVD)는 객체 영역 임베딩을 해당 VLM(feature)과 정렬함으로써 보지 못한 범주를 시험하는 방법을 개발해 왔다. 최근의 한 연구는 VLM이 이미지 내에서 의미 개념의 조합적(compositional) 구조를 암묵적으로 학습한다는 아이디어를 활용한다. 개별 영역 임베딩을 사용하는 대신, 영역 임베딩들의 집합(bag)을 새로운 표현으로 활용하여 OVD 과제에 조합적 구조를 반영한다. 그러나 이 접근법은 각 영역의 맥락적 개념을 충분히 포착하지 못하는 경우가 많아 잡음이 많은 조합적 구조로 이어진다. 그 결과 성능 향상이 미미하고 효율성이 저하된다. 이를 해결하기 위해 본 연구는 더 강력하고 효율적인 조합적 구조를 샘플링하는 새로운 개념 기반 정렬(concept-based alignment) 방법을 제안한다. 우리의 방법은 맥락적으로 관련된 ``concepts''를 하나의 bag으로 묶고, 해당 bag 내 개념들의 스케일을 조정하여 임베딩 정렬을 보다 효과적으로 수행한다. Faster R-CNN과 결합했을 때, 본 방법은 오픈 어휘 COCO 및 LVIS 벤치마크에서 새로운 범주에 대한 선행 연구 대비 box AP50에서 2.6, mask AP에서 0.5의 개선을 달성한다. 또한 본 방법은 기존 연구에 비해 FLOPs 기준으로 CLIP 연산을 80.3% 감소시켜 효율성을 크게 향상시킨다. 실험 결과는 제안된 방법이 OVD 데이터셋에서 기존의 최신(state-of-the-art) 모델을 능가함을 보여준다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.