대규모 비전-언어 모델(LVLMs)은 단일 이미지 과제에서 우수한 성능을 보인다. 그러나 우리는 다중 이미지 입력을 처리할 때 성능이 유의미하게 저하되는 현상을 관찰하였다. 이는 서로 다른 이미지로부터의 시각적 단서가 모델의 출력에서 뒤섞이기 때문이다. 우리는 이 현상을 교차-이미지 정보 누출(cross-image information leakage)이라고 부른다. 이 문제를 해결하기 위해, 추론 과정에서 교차-이미지 정보 누출을 완화하는 학습이 필요 없는(training-free) 동시에 아키텍처 비의존적인(decoding strategy) 디코딩 전략인 FOCUS를 제안한다. FOCUS는 무작위 잡음으로 모든 이미지를 순차적으로 마스킹하되 하나만 남겨, 모델이 단 하나의 깨끗한 이미지에 집중하도록 유도한다. 우리는 이 과정을 모든 대상 이미지에 대해 반복하여 부분적으로 마스킹된 문맥에서의 로짓(logits)을 얻는다. 이러한 로짓을 집계한 뒤, 잡음만 포함한 레퍼런스 입력을 사용해 대조적으로 정제(contrastively refined)함으로써 누출을 억제하고 보다 정확한 출력을 산출한다. FOCUS는 네 가지 다중 이미지 벤치마크와 다양한 LVLM 계열 전반에서 일관되게 성능을 향상시킨다. 이는 FOCUS가 추가적인 학습이나 아키텍처 수정 없이도 다중 이미지 추론을 강화하기 위한 일반적이고 실용적인 해법을 제공함을 보여준다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.