무참조 이미지 화질 평가(no-reference image quality assessment; NR-IQA)는 참조 영상에 대한 정보가 주어지지 않은 상태에서 인간 시각 체계를 반영하여 이미지 화질 저하 수준을 객관적으로 정량화 하는 것을 목표로 한다. 기존 NR-IQA 기술은 특정 왜곡 특성에 대해 높은 민감성을 갖고 있으며, 의미론적 화질 인지 및 화질 저하 수준을 판단하기에는 한계를 지니고 있다. 본 논문에서는 기존 NR-IQA 접근 방식의 한계를 극복하고 예측 정확도를 향상시키기 위해 지역적 왜곡 패턴 추출과 고수준 의미 정보 추출에 보다 능숙한 완전 참조 (full-reference IQA; FR-IQA) 방식의 프레임워크를 따르는 NR-IQA 모델인 multi-scale pseudo image quality assessor(MPIQ)를 제안한다. 제안하는 MPIQ는 하이브리드 구조에 기반해 합성곱 네트워크를 통한 지역적 왜곡 패턴 추출과 트랜스포머 기반의 전역적 화질 수준 이해를 도모하며, 의사 참조 이미지 reconstructor와 quasi FR-IQA regressor라는 두 가지 모듈로 구성된다. 의사 참조 이미지 reconstructor는 FR-IQA 방식과 유사하게 화질 추론 모델이 동작할 수 있도록 인코더-디코더 구조를 차용하여 의사 참조 이미지를 재구성하고 이미지 왜곡 정보를 학습한다. 이 과정에서 크기 불변 왜곡 패턴의 추출을 위해 다중 스케일 구조를 반영하였다. Quasi FR-IQA regressor는 왜곡 이미지에서 추출된 특징과 의사 참조 이미지 특징의 차이를 통해 전역적 왜곡 수준을 도출함으로써 이미지 화질 수준을 최종적으로 예측한다. MPIQ는 주관적 평가를 통해 획득된 mean opinion score에 end-to-end로 학습되었으며, 실험 결과 기존 NR-IQA 기술 대비 20%의 성능 향상을 달성하였다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.