의미 분할에서 동일 클래스 내부 변이(intra-class variation)를 정확하게 모델링하는 것은 세부적인 정보를 포착하고 클래스 경계 인근의 모호성을 해소하는 데 필수적이다. 기존의 프록시 기반 임베딩 방법들은 각 클래스를 하나의 프로토타입으로 표현하지만, 특히 복잡한 장면에서는 다양한 클래스 내부 구조를 반영하는 데 한계를 보인다. 본 논문에서는 대표 프록시를 도입하여 공유된 클래스 의미를 인코딩하고, 다수의 변이 벡터를 통해 세밀한 클래스 내부 변이를 포착하는 새로운 표현 학습 프레임워크인 Variation-Aware Proxy Learning을 제안한다. 이러한 구성요소들은 분해 가능(factorized) 유사도 점수를 통해 통합되어, 더 표현력이 뛰어나고 구별력이 향상된 임베딩 구조를 가능하게 한다. 모호한 영역에서의 학습을 추가로 향상시키기 위해, 초점 조절(focal modulation)을 도입하고, 어려운 예제의 기여도를 적응적으로 증폭하는 인력(attraction) 항과 반발(repulsion) 항으로 구성된 새로운 조합 유사도 손실(Compositional Similarity Loss)을 설계한다. 제안 방법은 모델 비종속적(model-agnostic)이며 추가적인 추론 시간 비용이 필요하지 않다. Cityscapes, COCO-Stuff10k, iSAID, ADE20K 등 다수의 분할 벤치마크와 CNN 및 Transformers를 포함한 다양한 백본에 대해 광범위한 실험을 수행한 결과, 특히 클래스 내부 변이가 큰 어려운 영역에서 mIoU와 경계 정밀도(boundary precision)가 일관되게 향상됨을 확인하였다. • Compositional Similarity Loss는 대표 프록시와 변이 벡터의 학습을 가능하게 한다. • 분해 가능 유사도 점수는 프록시 통합을 통해 향상된 클래스 분리를 달성한다. • 초점 조절은 동적 가중치를 통해 모호한 영역을 적응적으로 강조한다. • 다양한 실시간 및 비실시간 모델 전반에서 일관된 분할 성능 향상을 보인다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.