현재 이미지 생성 및 합성은 생성형 모델을 중심으로 괄목할 만한 발전을 이루었다. 포토리얼한 결과에도 불구하고, 주파수 영역에서는 본질적인 불일치가 여전히 관찰된다. 이러한 스펙트럼 불일치는 생성적 적대 신경망뿐 아니라 확산 모델에서도 나타난다. 본 연구에서는 생성된 이미지의 주파수 영역에서의 불일치를 효과적으로 완화하여 GAN과 확산 모델 모두의 생성 성능을 향상시키기 위한 프레임워크를 제안한다. 이는 대비 학습(contrastive learning)에 기반한, 이미지 생성의 정제를 위한 스펙트럼 번역(spectrum translation for the refinement of image generation, STIG)을 통해 구현된다. 우리는 다양한 생성 네트워크에서의 주파수 성분에 관한 이론적 논리를 채택한다. 핵심 아이디어는 디지털 신호 처리 관점에서 영상-대-영상(image-to-image) 번역 및 대비 학습의 개념을 바탕으로 생성 이미지의 스펙트럼을 정제하는 것이다. 우리는 STIG의 효과를 입증하기 위해 여덟 개의 가짜 이미지 데이터셋과 다양한 최첨단 모델에 걸쳐 프레임워크를 평가한다. 그 결과, 본 프레임워크는 다른 최첨단 방법들에 비해 FID 및 스펙트럼의 로그 주파수 거리(log frequency distance)가 유의하게 감소하여 더 우수한 성능을 보였다. 또한 STIG는 스펙트럼 이상(spectral anomaly)을 감소시킴으로써 이미지 품질을 향상시킨다는 점을 강조한다. 더 나아가 검증 결과, STIG로 가짜 스펙트럼을 조작한 경우 주파수 기반 딥페이크 탐지기가 더 큰 혼동을 일으키는 것으로 나타났다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.