특징 맵 내에서 다중 규모의 문맥을 포착하는 것은 의미론적 분할에서 매우 중요하다. Vision Transformer(ViT)의 성공 이후, 최근의 모델들은 이를 포착하기 위해 트랜스포머 디코더를 포함하도록 설계되었다. 그러나 이러한 모델들은 어텐션 메커니즘의 본질과 구조적 제약으로 인해 다양한 문맥 정보를 활용하는 데 한계가 있다. 일반적으로, 각 토큰 특징에 대해 유사한 수용영역(receptive field)을 초래하는 멀티-헤드 어텐션은 계산 비용을 크게 증가시키는 대가를 치르며 달성된다. 또한 구조의 특성은 서로 다른 수준들 간에 정보를 결합하는 방식이 일관되지 않게 만들 수 있다. 이러한 문제를 해결하기 위해, 본 논문에서는 컨볼루션 교차-어텐션(convolutional cross-attention, CCA)에 기반한 새롭고 효과적인 디코딩 기법인 CCASeg를 제안한다. 제안하는 CCA와 디코딩 구조는 다양한 크기의 컨볼루션 커널을 통해 국소 및 전역 문맥을 모두 포착할 뿐 아니라, 값싼 컨볼루션 연산을 효율적으로 활용함으로써 높은 효율성을 달성하도록 설계되었다. 더 나아가 다양한 수준에서 정보를 연속적으로 결합하도록 보장하는 디코딩 구조는 다양한 문맥을 이해하는 데 도움을 준다. 그 결과, 본 새로운 디코딩 기법은 특징 맵이 서로 다른 크기의 물체들 간의 관계를 효과적으로 학습할 수 있게 한다. 이와 같은 방식으로, 제안하는 CCASeg는 ADE20K, Cityscapes, COCO-stuff, iSAID를 포함한 널리 사용되는 의미론적 분할 벤치마크에서 기존의 최신(state-of-the-art) 방법들보다 성능이 우수함을 보인다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.