DPO와 같은 최신 선호도 정렬 방법은 학습 안정성을 위해 기준 모델(reference model)에 대한 발산(divergence) 정규화를 활용하지만, 이는 우리가 “기준 불일치(reference mismatch)”라고 부르는 근본적인 문제를 야기한다. 본 논문에서는 텍스트-이미지(T2I) 확산 모델을 정렬하는 과정에서 기준 불일치가 초래하는 부정적 영향을 조사하고, 예컨대 새로운 예술 양식을 학습하거나 특정 대상에 대해 개인화하는 경우처럼 동일한 양의 데이터가 주어질 때 기준 불일치가 클수록 효과적인 적응이 저해됨을 보여준다. 우리는 이러한 현상을 텍스트-이미지(T2I) 확산 모델 전반에서 확인하고, 이 제약에서 벗어나는 기준 비의존적(reference-agnostic) 접근법인 여백 인지 선호도 최적화(margin-aware preference optimization, MaPO)를 제안한다. MaPO는 기준에 고정하지 않고 Bradley-Terry 모델 하에서 선호되는 출력과 비선호되는 출력 간의 가능도(likelihood) 여백을 직접 최적화함으로써, 다양한 T2I 과제를 통합된 쌍별 선호도 최적화로 전환한다. 우리는 MaPO의 다재다능함을 다섯 가지의 도전적인 영역에서 검증한다: (1) 안전한 생성, (2) 스타일 적응, (3) 문화적 표현, (4) 개인화, (5) 일반적 선호도 정렬. 실험 결과는 기준 불일치의 심각도가 커질수록 MaPO의 이점이 극적으로 증가하며, DPO와 DreamBooth 같은 특화 방법 모두를 능가함과 동시에 학습 시간을 15% 단축함을 보여준다. 따라서 MaPO는 범용 T2I 적응 과제를 위한 다재다능하면서도 메모리 효율적인 방법으로 자리매김한다.

언어 모델(LM)은 종종 하위 작업을 위한 능력을 특화하기 위해 지도 미세조정(SFT)을 통해 적응된다. 그러나 미세조정 데이터가 제한된 전형적인 상황(예: 사전학습에 비해)에서는 SFT가 LM을 과적합시키고, 그 결과 대상 작업 내에서 나타나는 성가신(spurious) 패턴에 의존하게 하거나, 좁은 특수화의 부작용으로 다른 전반적으로 유용한 능력을 저해할 수 있다. 본 논문에서는 제한된 데이터로 LM을 미세조정할 때 과적합 문제를 완화하기 위한 SFT용의 간단하면서도 효과적인 정규화 기법인 학습-으로부터-바람직하지-않은-것(Learning-from-the-Undesirable, LfU)을 제안한다. 구체적으로, 우리는 미세조정 과정이 “바람직하지 않은(undesirable)” 모델 업데이트에 대해 견고한 해결책을 선호하도록 미세조정 과정을 정규화하는 것을 목표로 하며, 예를 들어 모델을 바람직하지 않은 행동으로 이끄는 그래디언트 상승(gradient ascent) 단계 등을 들 수 있다. 이를 위해 우리는 바람직하지 않은 업데이트 이후의 모델 내부 표현을 직접적으로 정렬하는 새로운 형태의 일관성 정규화(consistency regularization)를 제안한다. 바람직하지 않은 업데이트를 통한 표현 수준의 데이터 증강(representation-level data augmentation)을 활용함으로써, LfU는 제한된 데이터 하에서의 일반화를 효과적으로 촉진한다. 다양한 LM 하위 작업에 대한 실험 결과, LfU는 사전학습 지식을 보존하면서도 적응성을 향상시키는 효과적인 사전(prior)으로 작용함을 보여준다. 예를 들어, 동일한 데이터셋에서 바닐라 SFT에 비해 LfU로 학습한 우리의 LM은 수학 과제에서 평균 16.8%의 향상을 달성했으며, 해당 바닐라 SFT는 심지어 그 과제들에서 성능 저하를 초래하였다. 또한 LfU는 프롬프트 변형(prompt variations)에 대한 강건성도 향상되었는데, 예컨대 SFT에 비해 출력 성능에서 표준편차(standard deviation)를 92.1% 낮추어, 그 유연한 효과를 강조한다.

최근 텍스트-이미지(text-to-image) 모델의 발전은 강력한 이미지 편집 기법을 도구로서 더 널리 노출시켜, 악의적 사용 가능성에 대한 우려를 높이고 있다. 이러한 위협에 대응하기 위한 새롭게 부상하는 연구 흐름은, 공개되기 전에 이미지에 ‘보호(protective)’ 적대적 잡음을 삽입하여, 이후 텍스트-이미지 모델을 사용한 편집 시도가 이를 방해받도록 하는 데 초점을 맞춘다. 그러나 후속 연구들은 이러한 적대적 잡음이 종종 ‘역변환(reversed)’이 비교적 쉽게 가능함을 보여주었는데, 예를 들어 JPEG 압축과 같은 단순한 기법으로도 가능하다는 점이 밝혀져 이 접근법의 실용성에 의문이 제기된다. 본 논문에서는 이미지 보호를 위한 적대적 잡음이 기존 연구의 주요 초점이었던 단순한 무지각성(자각 불가능함)에 더해, 되돌릴 수 없어야(irreversible), 즉 원본 이미지가 숨겨져 있는 경우 잡음으로서 탐지가 어렵도록 해야 한다고 주장한다. 우리는 잡음 역변환 기법에 대한 이미지 보호 방법의 견고성을 향상시키기 위한 놀랍도록 단순한 방법을 제안한다. 구체적으로, 전체 주파수 스펙트럼을 조정하기 위해 잡음에 대해 영역별 적응적(adaptive) 가우시안 블러(Gaussian blur)를 적용한다. 광범위한 실험을 통해, 본 방법이 다양한 이미지 편집 시나리오에서 다수의 역변환 기법에 대해 기존 방법들의 샘플별 최악-경우(per-sample worst-case) 보호 성능을 일관되게 향상시키는 동시에, 지각(perceptual) 지표 관점에서 잡음으로 인한 품질 저하를 감소시킴을 보여준다. 코드는 https://github.com/jsu-kim/BlurGuard 에서 제공된다.

심층학습 분야의 주목할 만한 발전은 예컨대 대규모 사전학습 모델과 같은 다수의 범용(on-the-shelf) 분류기의 출현으로 이어졌다. 그러나 이러한 분류기는 일반적으로 정제된 데이터로 학습되기 때문에 적대적 공격(adversarial attacks)에 취약성을 그대로 유지한다. 그럼에도 불구하고, 우수한 성능과 전이 가능성(transferability) 덕분에 범용 분류기는 실제 환경에서 여전히 가치가 높으며, 이에 대해 사후적(post-hoc) 방식으로 적대적 강건성(adversarial robustness)을 제공하기 위한 추가 연구가 요구된다. 최근 제안된 방법인 denoised smoothing은 분류기 앞단에 디노이저(denoiser) 모델을 활용하여 추가 학습 없이도 증명 가능한(유도 가능한) 강건성을 확보한다. 하지만 디노이저는 종종 환각(hallucination)을 생성하는데, 이는 원래 할당되었던 클래스의 의미(semantic)를 잃은 이미지들을 만들어내며, 그 결과 강건성이 저하된다. 또한 노이즈-및-디노이즈(noise-and-denoise) 절차는 원래 분포로부터의 상당한 분포 이동(distribution shift)을 유발하여, denoised smoothing 프레임워크가 차선의(sub-optimal) 강건성을 달성하게 만든다. 본 논문에서는 범용 분류기의 증명 가능한 강건성을 향상시키기 위한 새로운 미세조정(fine-tuning) 기법인 Fine-Tuning with Confidence-Aware Denoised Image Selection (FT-CADIS)을 제안한다. FT-CADIS는 denoised smoothing 동안 환각 이미지를 식별하는 데 범용 분류기의 신뢰도(confidence)가 효과적으로 활용될 수 있다는 관찰에서 영감을 받았다. 이를 바탕으로, 이러한 환각 이미지들을 처리하고 디노이즈된 이미지로부터의 미세조정(fine-tuning) 안정성을 개선하기 위한 신뢰도 인식(confidence-aware) 훈련 목적을 개발한다. 이와 같은 방식으로, 적대적 강건성에 유익한 이미지들만을 사용하여 분류기를 미세조정할 수 있다. 또한 이러한 미세조정은 분류기 파라미터의 소수(fraction)만을 업데이트함으로써 수행될 수 있음을 확인하였다. 광범위한 실험 결과, FT-CADIS는 다양한 벤치마크에서 denoised smoothing 방법들 가운데 모든
l_2-적대적 반경(adversary radius)에 대해 최첨단(state-of-the-art) 증명 가능한 강건성을 입증하였다.

DPO와 같은 최신 선호도 정렬 방법은 학습 안정성을 위해 기준 모델(reference model)에 대한 발산(divergence) 정규화를 활용하지만, 이는 우리가 “기준 불일치(reference mismatch)”라고 부르는 근본적인 문제를 야기한다. 본 논문에서는 텍스트-이미지(T2I) 확산 모델을 정렬하는 과정에서 기준 불일치가 초래하는 부정적 영향을 조사하고, 예컨대 새로운 예술 양식을 학습하거나 특정 대상에 대해 개인화하는 경우처럼 동일한 양의 데이터가 주어질 때 기준 불일치가 클수록 효과적인 적응이 저해됨을 보여준다. 우리는 이러한 현상을 텍스트-이미지(T2I) 확산 모델 전반에서 확인하고, 이 제약에서 벗어나는 기준 비의존적(reference-agnostic) 접근법인 여백 인지 선호도 최적화(margin-aware preference optimization, MaPO)를 제안한다. MaPO는 기준에 고정하지 않고 Bradley-Terry 모델 하에서 선호되는 출력과 비선호되는 출력 간의 가능도(likelihood) 여백을 직접 최적화함으로써, 다양한 T2I 과제를 통합된 쌍별 선호도 최적화로 전환한다. 우리는 MaPO의 다재다능함을 다섯 가지의 도전적인 영역에서 검증한다: (1) 안전한 생성, (2) 스타일 적응, (3) 문화적 표현, (4) 개인화, (5) 일반적 선호도 정렬. 실험 결과는 기준 불일치의 심각도가 커질수록 MaPO의 이점이 극적으로 증가하며, DPO와 DreamBooth 같은 특화 방법 모두를 능가함과 동시에 학습 시간을 15% 단축함을 보여준다. 따라서 MaPO는 범용 T2I 적응 과제를 위한 다재다능하면서도 메모리 효율적인 방법으로 자리매김한다.

언어 모델(LM)은 종종 하위 작업을 위한 능력을 특화하기 위해 지도 미세조정(SFT)을 통해 적응된다. 그러나 미세조정 데이터가 제한된 전형적인 상황(예: 사전학습에 비해)에서는 SFT가 LM을 과적합시키고, 그 결과 대상 작업 내에서 나타나는 성가신(spurious) 패턴에 의존하게 하거나, 좁은 특수화의 부작용으로 다른 전반적으로 유용한 능력을 저해할 수 있다. 본 논문에서는 제한된 데이터로 LM을 미세조정할 때 과적합 문제를 완화하기 위한 SFT용의 간단하면서도 효과적인 정규화 기법인 학습-으로부터-바람직하지-않은-것(Learning-from-the-Undesirable, LfU)을 제안한다. 구체적으로, 우리는 미세조정 과정이 “바람직하지 않은(undesirable)” 모델 업데이트에 대해 견고한 해결책을 선호하도록 미세조정 과정을 정규화하는 것을 목표로 하며, 예를 들어 모델을 바람직하지 않은 행동으로 이끄는 그래디언트 상승(gradient ascent) 단계 등을 들 수 있다. 이를 위해 우리는 바람직하지 않은 업데이트 이후의 모델 내부 표현을 직접적으로 정렬하는 새로운 형태의 일관성 정규화(consistency regularization)를 제안한다. 바람직하지 않은 업데이트를 통한 표현 수준의 데이터 증강(representation-level data augmentation)을 활용함으로써, LfU는 제한된 데이터 하에서의 일반화를 효과적으로 촉진한다. 다양한 LM 하위 작업에 대한 실험 결과, LfU는 사전학습 지식을 보존하면서도 적응성을 향상시키는 효과적인 사전(prior)으로 작용함을 보여준다. 예를 들어, 동일한 데이터셋에서 바닐라 SFT에 비해 LfU로 학습한 우리의 LM은 수학 과제에서 평균 16.8%의 향상을 달성했으며, 해당 바닐라 SFT는 심지어 그 과제들에서 성능 저하를 초래하였다. 또한 LfU는 프롬프트 변형(prompt variations)에 대한 강건성도 향상되었는데, 예컨대 SFT에 비해 출력 성능에서 표준편차(standard deviation)를 92.1% 낮추어, 그 유연한 효과를 강조한다.

최근 텍스트-이미지(text-to-image) 모델의 발전은 강력한 이미지 편집 기법을 도구로서 더 널리 노출시켜, 악의적 사용 가능성에 대한 우려를 높이고 있다. 이러한 위협에 대응하기 위한 새롭게 부상하는 연구 흐름은, 공개되기 전에 이미지에 ‘보호(protective)’ 적대적 잡음을 삽입하여, 이후 텍스트-이미지 모델을 사용한 편집 시도가 이를 방해받도록 하는 데 초점을 맞춘다. 그러나 후속 연구들은 이러한 적대적 잡음이 종종 ‘역변환(reversed)’이 비교적 쉽게 가능함을 보여주었는데, 예를 들어 JPEG 압축과 같은 단순한 기법으로도 가능하다는 점이 밝혀져 이 접근법의 실용성에 의문이 제기된다. 본 논문에서는 이미지 보호를 위한 적대적 잡음이 기존 연구의 주요 초점이었던 단순한 무지각성(자각 불가능함)에 더해, 되돌릴 수 없어야(irreversible), 즉 원본 이미지가 숨겨져 있는 경우 잡음으로서 탐지가 어렵도록 해야 한다고 주장한다. 우리는 잡음 역변환 기법에 대한 이미지 보호 방법의 견고성을 향상시키기 위한 놀랍도록 단순한 방법을 제안한다. 구체적으로, 전체 주파수 스펙트럼을 조정하기 위해 잡음에 대해 영역별 적응적(adaptive) 가우시안 블러(Gaussian blur)를 적용한다. 광범위한 실험을 통해, 본 방법이 다양한 이미지 편집 시나리오에서 다수의 역변환 기법에 대해 기존 방법들의 샘플별 최악-경우(per-sample worst-case) 보호 성능을 일관되게 향상시키는 동시에, 지각(perceptual) 지표 관점에서 잡음으로 인한 품질 저하를 감소시킴을 보여준다. 코드는 https://github.com/jsu-kim/BlurGuard 에서 제공된다.

심층학습 분야의 주목할 만한 발전은 예컨대 대규모 사전학습 모델과 같은 다수의 범용(on-the-shelf) 분류기의 출현으로 이어졌다. 그러나 이러한 분류기는 일반적으로 정제된 데이터로 학습되기 때문에 적대적 공격(adversarial attacks)에 취약성을 그대로 유지한다. 그럼에도 불구하고, 우수한 성능과 전이 가능성(transferability) 덕분에 범용 분류기는 실제 환경에서 여전히 가치가 높으며, 이에 대해 사후적(post-hoc) 방식으로 적대적 강건성(adversarial robustness)을 제공하기 위한 추가 연구가 요구된다. 최근 제안된 방법인 denoised smoothing은 분류기 앞단에 디노이저(denoiser) 모델을 활용하여 추가 학습 없이도 증명 가능한(유도 가능한) 강건성을 확보한다. 하지만 디노이저는 종종 환각(hallucination)을 생성하는데, 이는 원래 할당되었던 클래스의 의미(semantic)를 잃은 이미지들을 만들어내며, 그 결과 강건성이 저하된다. 또한 노이즈-및-디노이즈(noise-and-denoise) 절차는 원래 분포로부터의 상당한 분포 이동(distribution shift)을 유발하여, denoised smoothing 프레임워크가 차선의(sub-optimal) 강건성을 달성하게 만든다. 본 논문에서는 범용 분류기의 증명 가능한 강건성을 향상시키기 위한 새로운 미세조정(fine-tuning) 기법인 Fine-Tuning with Confidence-Aware Denoised Image Selection (FT-CADIS)을 제안한다. FT-CADIS는 denoised smoothing 동안 환각 이미지를 식별하는 데 범용 분류기의 신뢰도(confidence)가 효과적으로 활용될 수 있다는 관찰에서 영감을 받았다. 이를 바탕으로, 이러한 환각 이미지들을 처리하고 디노이즈된 이미지로부터의 미세조정(fine-tuning) 안정성을 개선하기 위한 신뢰도 인식(confidence-aware) 훈련 목적을 개발한다. 이와 같은 방식으로, 적대적 강건성에 유익한 이미지들만을 사용하여 분류기를 미세조정할 수 있다. 또한 이러한 미세조정은 분류기 파라미터의 소수(fraction)만을 업데이트함으로써 수행될 수 있음을 확인하였다. 광범위한 실험 결과, FT-CADIS는 다양한 벤치마크에서 denoised smoothing 방법들 가운데 모든
l_2-적대적 반경(adversary radius)에 대해 최첨단(state-of-the-art) 증명 가능한 강건성을 입증하였다.

현대의 선호도 정렬 방법(예: DPO)은 학습 안정성을 위해 기준 모델(reference model)에 대한 발산(divergence) 정규화를 기반으로 하지만, 이는 우리가 “기준 불일치(reference mismatch)”라고 부르는 근본적인 문제를 야기한다. 본 논문에서는 텍스트-이미지(T2I) 확산 모델 정렬에서 기준 불일치가 미치는 부정적 영향을 탐구하며, 동일한 양의 데이터가 주어질 때에도 기준 불일치가 클수록 예컨대 새로운 예술 양식을 학습하거나 특정 대상에 대해 개인화하는 상황에서 효과적인 적응이 저해됨을 보인다. 우리는 이러한 현상을 텍스트-이미지(T2I) 확산 모델 전반에서 확인하고, 이 제약에서 벗어나는 기준-비의존(reference-agnostic) 접근법인 여유(margin)를 인지하는 선호도 최적화(margin-aware preference optimization, MaPO)를 제안한다. MaPO는 기준에 고정(anchoring)하지 않은 채 Bradley-Terry 모델 하에서 선호(preferred) 출력과 비선호(dispreferred) 출력 간의 가능도(likelihood) 여유를 직접 최적화함으로써, 다양한 T2I 과제를 하나의 통일된 쌍별 선호도 최적화(pairwise preference optimization)로 변환한다. 우리는 MaPO의 범용성을 다섯 가지의 도전적인 영역에서 검증한다: (1) 안전한 생성, (2) 스타일 적응, (3) 문화적 표현, (4) 개인화, (5) 일반적인 선호도 정렬. 연구 결과는 기준 불일치의 심각도가 커질수록 MaPO의 이점이 극적으로 증대되며, DPO뿐 아니라 DreamBooth와 같은 특화 방법도 능가하는 동시에 학습 시간을 15% 감소시킴을 보여준다. 따라서 MaPO는 일반적인 T2I 적응 과제를 위한 다재다능하면서도 메모리 효율적인 방법으로 나타난다.

비디오 확산 모델에서의 급속한 발전은 사실적인 비디오의 생성을 가능하게 하였으나, 무단 사용에 대한 우려를 불러일으키며 모델 소유권을 보호하기 위한 기법에 대한 수요를 촉진하고 있다. 기존 워터마킹 방법은 두 가지 주요 한계를 가진다. 즉, 기존의 워터마크 디코더로 인해 시간적 일관성을 간과하며, 생성된 비디오의 시각적 품질을 저하시킨다는 점이다. 이러한 문제를 해결하기 위해 잠재 비디오 확산 모델을 위한 강건한 워터마킹 방법인 Latent Video Diffusion Watermarking (LVMark)를 제안한다. 우리는 인접 프레임 간의 일관성을 학습함으로써 생성 비디오에 특화된 새로운 워터마크 디코더를 제안한다. 이는 3차원 웨이블릿(wavelet) 도메인의 저주파 성분과 비디오의 색상 특징을 결합하여, 악의적인 공격 하에서도 정확한 메시지 디코딩을 보장한다. 또한 생성된 비디오의 시각적 충실도를 유지하기 위해 잠재 디코더를 학습한다. 워터마크는 시각적 외관에 대한 영향이 최소가 되도록 중요도 기반 가중치 변조(importance-based weight modulation) 전략을 사용하여 층(layer)에 삽입한다. 우리는 확산 모델의 워터마크 디코더와 잠재 디코더 모두를 최적화함으로써 시각적 품질과 비트 정확도 간의 상충 관계를 효과적으로 균형 있게 조절한다. 실험 결과, 본 방법은 비디오 확산 모델에 보이지 않는 워터마크를 삽입하면서 왜곡(distortions) 하에서도 512비트 용량으로 강건한 디코딩 정확도를 보장함을 확인하였다.

이미지 워터마킹은 진위성과 출처의 보존을 뒷받침하지만, 여전히 다양한 왜곡과 강력한 생성 편집을 통해 많은 기법들이 쉽게 우회될 수 있다. 딥러닝 기반 워터마킹은 확산(diffusion) 기반 이미지 편집에 대한 강인성을 개선했으나, 워터마크된 이미지를 이미지-투-비디오(image-to-video, I2V)로 변환할 때에는 워터마크 검출이 프레임 단위로 약화되는 공백이 남아 있다. I2V는 짧고 흔들리는 클립에서 수 초에 이르는 시간적 일관성을 갖는 장면으로 빠르게 발전했으며, 현재는 단순한 콘텐츠 생성뿐 아니라 세계모델링(world-modeling) 및 시뮬레이션 워크플로에도 활용되어, 교차 양식(cross-modal) 워터마크 복구가 중요해졌다. 본 연구에서는 I2V 하에서의 강인성을 위해 특화된 프레임워크 WaTeRFlow를 제시한다. 이는 (i) FUSE(Flow-guided Unified Synthesis Engine)로, 인스트럭션(instruction) 기반 편집과 학습 중의 빠른 비디오 확산 프록시를 통해 인코더-디코더에 현실적인 왜곡을 노출시키고, (ii) 시간적 일관성 손실(Temporal Consistency Loss, TCL)을 사용하는 광흐름(optical-flow) 워핑으로 프레임 단위 예측을 안정화하며, (iii) 조건 신호(conditioning signal)를 유지하는 의미 보존 손실을 포함한다. 대표적인 I2V 모델 전반에서 수행한 실험은 프레임으로부터 정확한 워터마크 복구가 가능함을 보여주었는데, 다양한 왜곡을 비디오 생성 전 또는 생성 후에 적용하더라도 1번째 프레임과 프레임 단위 비트 정확도가 더 높고 강인성이 유지되었다.

이미지 워터마킹은 진정성과 출처성을 보장하는 데 기여하지만, 많은 기법들은 다양한 왜곡과 강력한 생성적 편집에 의해 여전히 쉽게 우회될 수 있다. 딥러닝 기반 워터마킹은 확산 기반 이미지 편집에 대한 강인성을 향상시켰으나, 워터마킹된 이미지를 이미지-투-비디오(image-to-video, I2V)로 변환할 때에는 여전히 공백이 남아 있는데, 이 과정에서 프레임 단위 워터마크 탐지가 약화된다. I2V는 짧고 흔들리는 클립에서 다중 초에 이르는 시간적으로 일관된 장면으로 빠르게 발전했으며, 현재는 단순한 콘텐츠 생성뿐 아니라 세계 모델링 및 시뮬레이션 워크플로에도 활용되고 있어 교차 양식 워터마크 복구가 중요해졌다. 본 연구는 I2V 하에서의 강인성을 위해 특화된 프레임워크 WaTeRFlow를 제시한다. 이는 (i) FUSE(Flow-guided Unified Synthesis Engine)로, 인스트럭션 기반 편집을 통해 인코더-디코더에 현실적인 왜곡을 노출하고 학습 시 빠른 비디오 확산 프록시를 사용하며, (ii) Temporal Consistency Loss(TCL)를 적용한 광류 워핑으로 프레임 단위 예측을 안정화하고, (iii) 조건 신호를 유지하는 의미 보존 손실(semantic preservation loss)로 구성된다. 대표적인 I2V 모델 전반에 대한 실험 결과, 다양한 왜곡을 비디오 생성 전 또는 후에 적용하더라도 프레임들로부터 정확한 워터마크 복구가 가능했으며, 특히 첫 프레임과 프레임 단위 비트 정확도가 더 높고 견고함이 확인되었다.

데이터로부터 견고한 표현을 학습하는 데에는 종종 스케일이 필요하며, 이는 CLIP과 같은 최근의 제로샷 모델들의 성공으로 이어졌다. 그러나 이러한 모델을 다른 다운스트림 과제(예: 더 작은 스케일)에서 미세조정할 때, 얻어진 견고성이 쉽게 저하될 수 있다. 선행 연구들은 종종 이 현상을 도메인 이동(domain shift)과 연관 지어, 가능한 한 원래의 도메인을 보존하는 것을 목표로 하는 미세조정 방법을 개발해 왔다. 하지만 다른 맥락에서, 제한된 데이터로 미세조정된 모델은 배경이나 질감과 같은 인간에게는 무관한(허위적) 특징(spurious features)을 학습하는 경향 또한 있다. 본 논문에서는 허위적 정렬(Spurious Textual Alignment Regularization)을 통한 미세조정인 StarFT를 제안하며, 이는 허위성을 학습하지 못하도록 방지함으로써 제로샷 모델의 미세조정을 통해 견고성을 향상시키는 새로운 프레임워크이다. 우리는 허위성이 주입된 라벨(spuriosity-injected labels)에 대한 출력 분포를 기존 제로샷 모델의 분포와 정렬하는 정규화를 도입하여, 모델이 이러한 기술(description)과의 거리가 멀어질수록 관련 없는 특징을 추가로 추출하도록 유도되지 않도록 한다. 이를 위해, 잠재적으로 혼동을 유발할 수 있는 특징을 부각하는 대안적 텍스트 기술을 생성함으로써 이러한 허위성이 주입된 라벨을 얻기 위해 최근의 언어 모델을 활용한다. 광범위한 실험은 StarFT의 견고한 일반화와 그로부터 나타나는 특성을 검증한다: 제로샷 군(group) 견고성 및 향상된 제로샷 분류 성능. 특히, 다른 견고 미세조정 기준선들이 성능이 오히려 저하되는 Waterbirds 그룹 이동 시나리오에서 StarFT는 최악-군(worst-group) 정확도와 평균 정확도를 각각 14.30% 및 3.02% 향상시킨다.