합성곱 신경망(CNN)과 트랜스포머(Transformer)로 구성된 하이브리드 아키텍처는 학습 표현의 한계를 확장하면서 다양한 비전 과제를 구현하려는 새로운 경향이다. CNN과 트랜스포머의 작동 메커니즘의 관점에서 볼 때, 이들에 대한 기능적 결합은 국소 왜곡 인지와 전역 품질 집계를 모두 활용해야 하는 화질 평가(IQA)에 적합하나, 이러한 접근을 적용한 연구는 드물다. 본 논문은 전체 참조(full-reference) IQA를 위한 종단 간(end-to-end) CNN-트랜스포머 하이브리드 모델인 convolved quality transformer(CQT)를 제시한다. CQT는 인간의 지각적 특성에서 영감을 받아, 품질 점수를 평가하기 위해 CNN과 트랜스포머의 장점을 통합하도록 설계되었다. CQT에서 합성곱 층은 국소 왜곡 특징 추출을 전문화하고, 트랜스포머는 이를 집계하여 이들 간의 장거리 상호작용을 통해 총체적 품질을 추정한다. 이러한 일련의 과정은 다중 스케일 특징 맵에서 반복되어 품질 표현을 민감하게 포착한다. CQT의 하위 모듈들이 각자의 역할을 적절히 수행하는지 검증하기 위해, 국소 왜곡으로부터 전역 품질을 추론하는 과정에서의 상호작용을 주의(attention) 시각화를 통해 심층적으로 분석한다. 마지막으로, 단계별(feature embeddings) 임베딩으로부터 지각적으로 풀링된 정보가 최종 품질 수준을 도출한다. 실험 결과는 제안된 모델이 기존의 데이터 기반 접근들에 비해 우수한 성능을 달성하며, 표준 데이터셋에 대해서도 잘 일반화됨을 보여준다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.