참조 이미지 분할(Referring Image Segmentation; RIS)은 텍스트 설명을 바탕으로 이미지에서 객체를 식별하는 것을 요구한다. 우리는 기존 방법들이 외형(appearance) 기반 질의에 비해 동작(motion) 관련 질의에서 유의미하게 성능이 저하됨을 관찰한다. 이를 해결하기 위해, 먼저 추가적인 주석 없이도 원 캡션에서 동작 중심 문구를 추출하여 모델이 더 많은 동작 표현에 노출되도록 하는 효율적인 데이터 증강 기법을 소개한다. 둘째, 동일한 객체는 맥락에 따라 다르게 묘사될 수 있으므로, 단일 모달 표현이 아니라 결합된 이미지-텍스트 임베딩에서 수행되는 멀티모달 방사 대조 학습(Multimodal Radial Contrastive Learning; MRaCL)을 제안한다. 포괄적인 평가를 위해, 동작 중심 질의에 초점을 둔 새로운 테스트 분할을 도입하고, 객체가 주로 동작을 통해 구분되도록 설계된 새로운 벤치마크 M-Bench도 제안한다. 광범위한 실험 결과, 본 방법은 여러 RIS 모델 전반에서 동작 중심 질의에 대한 성능을 실질적으로 향상시키며, 외형 기반 설명에 대해서는 경쟁력 있는 결과를 유지함을 보여준다. 코드는 https://github.com/snuviplab/MRaCL 에서 제공된다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.