우리는 지시 이미지 분할(Referring Image Segmentation, RIS)에서 참조 표현을 의사 감독(pseudo supervisions)으로 활용하여, 높은 품질의 분할 마스크를 자동으로 생성하는 새로운 프레임워크를 제안한다. 이러한 의사 감독은 수동 라벨링 비용 없이도 임의의 지도 기반 RIS 방법을 학습할 수 있게 해준다. 이를 위해 기존의 분할 및 이미지 캡션 생성 기초 모델을 통합하여, 이들의 폭넓은 일반화 능력을 활용한다. 그러나 이러한 모델을 단순히 통합하면, 대상 마스크를 뚜렷하게 지시하지 못하는 비분별적 표현이 생성될 수 있다. 이 문제를 해결하기 위해, 우리는 뚜렷한 캡션을 생성하는 이중 전략을 제안한다. 1) 캡션 생성 모델을 위한 새로운 디코딩 방법인 ‘distinctive caption sampling’을 통해, 대상에 초점을 맞춘 상세 어휘를 포함하는 복수의 표현 후보를 생성한다. 2) 후보를 추가로 검증하고 식별성이 낮은 후보를 걸러내기 위한 ‘distinctiveness-based text filtering’을 수행한다. 이 두 전략은 생성된 텍스트 감독이 다른 객체들로부터 대상을 구별할 수 있도록 하여, RIS 주석으로서 적절하도록 한다. 우리의 방법은 RIS 벤치마크 데이터셋에서 약지도 및 제로샷 SoTA 방법 모두를 유의하게 능가한다. 또한 보지 못한 도메인에서 완전 지도(supervised) 방법보다도 뛰어나, RIS 내 오픈월드(open-world) 과제에 대응할 수 있는 역량을 입증한다. 더 나아가, 우리의 방법을 인간 주석과 통합하면 추가적인 개선이 이루어져, 준지도 학습(semi-supervised learning) 응용 분야에서의 잠재력을 보여준다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.