최근 딥페이크 탐지에 대한 연구가 상당히 이루어지고 있다. 그러나 대부분의 기존 방법은 미지의 영역에서 새로운 생성 모델의 발전에 적응하는 데 있어 어려움에 직면해 있다. 또한 diffusion, consistency, LCM과 같은 고품질 이미지를 생성하고 편집할 수 있는 새로운 생성 모델의 등장은 전통적인 딥페이크 학습 모델에 대한 도전 과제를 제기한다. 이러한 발전은 정교한 이미지 조작 기술이 초래하는 위협에 효과적으로 대응하기 위해 기존 딥페이크 탐지 기법을 적응시키고 진화시킬 필요성을 부각한다. 본 논문의 목적은 비라벨 데이터(unlabeled data)를 사용하여 미지의 영역에서 딥페이크 영상을 탐지하는 것이다. 구체적으로, 제안하는 접근법은 지도 대조 학습(supervised contrastive learning)과 결합한 Meta Pseudo Labels(MPL)을 사용하며, 이를 SupCon-MPL이라 한다. 이를 통해 모델을 라벨이 없는 이미지로 학습할 수 있다. MPL은 교사 모델과 학생 모델을 동시에 학습하는 과정으로 이루어지며, 교사 모델이 생성한 의사 라벨(pseudo labels)을 학생 모델을 학습하는 데 활용한다. 이 방법은 새로운 미지의 영역에 대해 딥페이크 탐지 시스템의 적응성과 견고성을 향상시키는 것을 목표로 한다. 지도 대조 학습은 라벨을 사용하여 동일한 클래스에 속한 샘플을 보다 강하게 비교하는 한편, 서로 다른 클래스에 속한 샘플과는 더 큰 구별성을 유도한다. 이는 모델이 다양한 집합의 딥페이크 이미지로부터 특징을 학습하는 데 도움을 주며, 결과적으로 미지의 영역에서의 딥페이크 탐지 성능에 기여한다. 백본(backbone)으로 ResNet50 모델을 사용할 때, SupCon-MPL은 알려진 영역(known domain) 탐지에서 기존 MPL과 비교하여 정확도 1.58% 향상을 보였다. 또한 동일한 세대의 미지의 영역 탐지에서는 정확도 1.32% 향상이 관찰되었으며, 생성 이후의 미지의 영역(post-generation unknown domains) 탐지에서는 정확도가 8.74% 증가하였다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.