약지도 객체 위치추정(WSOL)은 이미지 수준 라벨만으로 위치추정 모델을 학습할 수 있다는 기대 때문에 최근 수년 동안 인기를 얻고 있다. 분류 활성화 맵(class activation mapping, CAM)에 관한 선구적 WSOL 연구 이후, 이 분야는 관심 영역을 더 넓게 확장하여 객체를 더 잘 국소화(localize)하는 방법에 주목해 왔다. 그러나 이러한 전략들은 하이퍼파라미터 검증 및 모델 선택을 위해 전(全) 위치추정 감독(full localization supervision)에 의존하며, 이는 원칙적으로 WSOL 설정 하에서는 허용되지 않는다. 본 논문에서는 이미지 수준 라벨만으로는 WSOL 과제가 본질적으로 잘 정해지지 않았다고 주장하며, 전 감독은 테스트 세트와 겹치지 않는 소규모의 홀드아웃 집합에만 제한되는 새로운 평가 프로토콜을 제안한다. 우리의 프로토콜 하에서, 최근 5개의 WSOL 방법이 CAM 기준선(baseline) 대비 큰 수준의 개선을 이루지 못했음을 관찰하였다. 또한 기존 WSOL 방법이 몇-shot 학습(few-shot learning) 기준선에도 도달하지 못했음을 보고하는데, 이 기준선에서는 검증 시점의 전 감독을 모델 학습에 사용한다. 이러한 발견에 근거하여 WSOL의 향후 연구 방향에 대해 논의한다. 소스 코드와 데이터셋은 https://github.com/clovaai/wsolevaluation https://github.com/clovaai/wsolevaluation 에서 이용 가능하다.

대규모 비전-언어 모델(LVLMs)은 단일 이미지 과제에서 우수한 성능을 보인다. 그러나 우리는 다중 이미지 입력을 처리할 때 성능이 유의미하게 저하되는 현상을 관찰하였다. 이는 서로 다른 이미지로부터의 시각적 단서가 모델의 출력에서 뒤섞이기 때문이다. 우리는 이 현상을 교차-이미지 정보 누출(cross-image information leakage)이라고 부른다. 이 문제를 해결하기 위해, 추론 과정에서 교차-이미지 정보 누출을 완화하는 학습이 필요 없는(training-free) 동시에 아키텍처 비의존적인(decoding strategy) 디코딩 전략인 FOCUS를 제안한다. FOCUS는 무작위 잡음으로 모든 이미지를 순차적으로 마스킹하되 하나만 남겨, 모델이 단 하나의 깨끗한 이미지에 집중하도록 유도한다. 우리는 이 과정을 모든 대상 이미지에 대해 반복하여 부분적으로 마스킹된 문맥에서의 로짓(logits)을 얻는다. 이러한 로짓을 집계한 뒤, 잡음만 포함한 레퍼런스 입력을 사용해 대조적으로 정제(contrastively refined)함으로써 누출을 억제하고 보다 정확한 출력을 산출한다. FOCUS는 네 가지 다중 이미지 벤치마크와 다양한 LVLM 계열 전반에서 일관되게 성능을 향상시킨다. 이는 FOCUS가 추가적인 학습이나 아키텍처 수정 없이도 다중 이미지 추론을 강화하기 위한 일반적이고 실용적인 해법을 제공함을 보여준다.

최신 비전-언어 모델(Vision-Language Models, VLMs)은 부정(negation)을 이해하지 못하는 치명적인 실패를 겪으며, 이는 흔히 긍정 편향(affirmative bias)으로 불린다. 이러한 한계는 특히 기술된 객체 탐지(described object detection, DOD) 과제에서 두드러지게 심각하다. 이를 해결하기 위해 우리는 두 가지 주요 기여를 제안한다. (1) 새로운 데이터셋 파이프라인과 (2) 경량의 새로운 적응(adaptation) 레시피이다. 첫째, 우리는 CoVAND를 소개하는데, 이는 체계적인 사고의 연쇄(chain-of-thought, CoT)와 VQA 기반 파이프라인을 사용하여 고품질의 인스턴스-기반(instance-grounded) 부정 데이터를 생성하도록 구성된 데이터셋이다. 둘째, 우리는 긍정 편향의 건축적(archiitectural) 원인을 직접적으로 다루는 새로운 텍스트 토큰 병합(text token merging) 모듈 NegToMe를 제안한다. NegToMe는 본질적으로 토큰화 과정에서 부정 신호(negation cues)의 구조적 손실을 해결하며, 이를 속성과 함께 묶어 일관된 의미 구(semantic phrase)로 만든다. 입력 수준에서 올바른 극성(polarity)을 유지함으로써, 제한된 데이터에서도 견고한 부정 이해가 가능해진다. 예를 들어, 모델이 분절된 토큰 ‘not’과 ‘girl’을 단순히 ‘girl’로 해석하지 못하도록 하기 위해 NegToMe는 이를 ‘girl’만의 의미와 올바르게 구별되는 단일 토큰으로 결속시킨다. 본 모듈은 파라미터 효율적인(parameter-efficient) 전략적 LoRA 미세조정(fine-tuning) 접근과 통합된다. 우리의 방법은 거짓 양성(false positive)률을 낮추면서, OVDEval에서 NMS-AP가 최대 +10.8 포인트 향상되는 등, 어려운 부정 벤치마크에서 성능을 크게 개선하며, SoTA VLM으로의 일반화(generalization)도 보여준다. 본 연구는 실제 탐지 응용에서 부정 이해를 해결하기 위한 중요한 진전을 의미한다.

기존의 오픈 어휘 객체 탐지(OVD)는 객체 영역 임베딩을 해당 VLM(feature)과 정렬함으로써 보지 못한 범주를 시험하는 방법을 개발해 왔다. 최근의 한 연구는 VLM이 이미지 내에서 의미 개념의 조합적(compositional) 구조를 암묵적으로 학습한다는 아이디어를 활용한다. 개별 영역 임베딩을 사용하는 대신, 영역 임베딩들의 집합(bag)을 새로운 표현으로 활용하여 OVD 과제에 조합적 구조를 반영한다. 그러나 이 접근법은 각 영역의 맥락적 개념을 충분히 포착하지 못하는 경우가 많아 잡음이 많은 조합적 구조로 이어진다. 그 결과 성능 향상이 미미하고 효율성이 저하된다. 이를 해결하기 위해 본 연구는 더 강력하고 효율적인 조합적 구조를 샘플링하는 새로운 개념 기반 정렬(concept-based alignment) 방법을 제안한다. 우리의 방법은 맥락적으로 관련된 ``concepts''를 하나의 bag으로 묶고, 해당 bag 내 개념들의 스케일을 조정하여 임베딩 정렬을 보다 효과적으로 수행한다. Faster R-CNN과 결합했을 때, 본 방법은 오픈 어휘 COCO 및 LVIS 벤치마크에서 새로운 범주에 대한 선행 연구 대비 box AP50에서 2.6, mask AP에서 0.5의 개선을 달성한다. 또한 본 방법은 기존 연구에 비해 FLOPs 기준으로 CLIP 연산을 80.3% 감소시켜 효율성을 크게 향상시킨다. 실험 결과는 제안된 방법이 OVD 데이터셋에서 기존의 최신(state-of-the-art) 모델을 능가함을 보여준다.