확산 모델(DM)은 이미지 생성 과제에서 기록을 경신하는 성능을 달성해 왔다. 그러나 실제 환경에서는 점수 추정 오차와 이산화 오차로 인해 발생하는 학습-샘플링 불일치가 DMs의 모델링 능력을 제한하며, 이는 노출 편향(exposure bias)으로 알려진 현상이다. 이러한 노출 편향을 완화하고 생성 성능을 추가로 향상시키기 위해, 우리는 경량 프롬프트 예측 모델을 기반으로 한 프롬프트 학습 프레임워크를 제안한다. 구체적으로, 우리의 모델은 각 샘플링 단계에서 생성된 샘플에 대해 반(anti)-편향 프롬프트를 예측하여, 발생하는 노출 편향을 보상하는 것을 목표로 한다. 이러한 설계 철학에 따라, 본 프레임워크는 샘플링 궤적을 학습 궤적과 일치하도록 교정함으로써, 목표 데이터 분포와 모델링 분포 간의 발산을 감소시킨다. 프롬프트 예측 모델을 학습하기 위해, 우리는 훈련 데이터를 구성하여 노출 편향을 시뮬레이션하고, 최적화를 위해 시간 의존적 가중치 함수를 도입한다. 다양한 DMs에 대한 실험 결과는 세 개의 벤치마크 데이터셋 전반에서 본 프롬프트 학습 프레임워크가 우수함을 보여준다. 특히, 최적화된 프롬프트 예측 모델은 샘플링 오버헤드가 5%만 증가하는 것에 그치면서도 이미지 품질을 효과적으로 향상시키며, 이는 무시할 만한 수준으로 유지된다. 본 코드는 Anti Exposure Bias에서 제공된다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.