최신 비전-언어 모델(Vision-Language Models, VLMs)은 부정(negation)을 이해하지 못하는 치명적인 실패를 겪으며, 이는 흔히 긍정 편향(affirmative bias)으로 불린다. 이러한 한계는 특히 기술된 객체 탐지(described object detection, DOD) 과제에서 두드러지게 심각하다. 이를 해결하기 위해 우리는 두 가지 주요 기여를 제안한다. (1) 새로운 데이터셋 파이프라인과 (2) 경량의 새로운 적응(adaptation) 레시피이다. 첫째, 우리는 CoVAND를 소개하는데, 이는 체계적인 사고의 연쇄(chain-of-thought, CoT)와 VQA 기반 파이프라인을 사용하여 고품질의 인스턴스-기반(instance-grounded) 부정 데이터를 생성하도록 구성된 데이터셋이다. 둘째, 우리는 긍정 편향의 건축적(archiitectural) 원인을 직접적으로 다루는 새로운 텍스트 토큰 병합(text token merging) 모듈 NegToMe를 제안한다. NegToMe는 본질적으로 토큰화 과정에서 부정 신호(negation cues)의 구조적 손실을 해결하며, 이를 속성과 함께 묶어 일관된 의미 구(semantic phrase)로 만든다. 입력 수준에서 올바른 극성(polarity)을 유지함으로써, 제한된 데이터에서도 견고한 부정 이해가 가능해진다. 예를 들어, 모델이 분절된 토큰 ‘not’과 ‘girl’을 단순히 ‘girl’로 해석하지 못하도록 하기 위해 NegToMe는 이를 ‘girl’만의 의미와 올바르게 구별되는 단일 토큰으로 결속시킨다. 본 모듈은 파라미터 효율적인(parameter-efficient) 전략적 LoRA 미세조정(fine-tuning) 접근과 통합된다. 우리의 방법은 거짓 양성(false positive)률을 낮추면서, OVDEval에서 NMS-AP가 최대 +10.8 포인트 향상되는 등, 어려운 부정 벤치마크에서 성능을 크게 개선하며, SoTA VLM으로의 일반화(generalization)도 보여준다. 본 연구는 실제 탐지 응용에서 부정 이해를 해결하기 위한 중요한 진전을 의미한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.