잠재 확산(latent diffusion) 모델은 고해상도 텍스트-이미지 생성에서 괄목할 만한 성과를 보였지만, 학습 데이터를 암기하는 경향은 중대한 개인정보 및 지적 재산권 우려를 제기한다. 멤버십 추론 공격(membership inference attacks, MIAs)은 특정 샘플이 학습에 포함되었는지를 판단함으로써 이러한 암기를 감사(audit)하는 데 원칙적인 방법을 제공한다. 그러나 기존 접근법은 정답 캡션(ground-truth captions)에 대한 접근을 가정한다. 이러한 가정은 텍스트 주석이 비공개로 남고 오직 이미지만 제공되는 현실적인 상황에서는 성립하지 않으며, 그 결과 이전 방법은 비전-언어 모델(vision-language model, VLM) 캡션으로 대체될 경우 효과가 떨어진다. 본 연구에서는 목표 모델의 생성적(manifold) 공간에 대해 명시적으로 과적합되도록 하는 합성 조건 입력을 구성하는 캡션-프리(caption-free) MIAs 프레임워크 MoFit을 제안한다. 질의 이미지가 주어지면 MoFit은 두 단계로 진행된다. (i) 모델-적합 surrogate 최적화 단계로, 이미지에 적용되는 교란(perturbation)을 최적화하여 멤버 샘플로부터 학습된 모델의 무조건(unconditional) prior의 영역에서 surrogate를 구성하고, (ii) surrogate 기반 임베딩 추출 단계로, surrogate로부터 모델-적합 임베딩을 도출한 뒤 이를 질의 이미지에 대한 불일치(mismatched) 조건으로 사용한다. 이 임베딩은 멤버 샘플에 대해서는 조건부 손실 응답을 증폭시키는 반면 홀아웃(hold-outs)에는 상대적으로 덜 영향을 주어, 정답 캡션 부재 하에서도 분리가 향상된다. 여러 데이터셋과 확산 모델에 걸친 포괄적인 실험 결과, MoFit은 기존의 VLM-조건 기반 방법을 일관되게 능가하며 캡션 의존(caption-dependent) 방법들과 경쟁할 만한 성능을 달성함을 보여준다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.