본 논문에서는 데이터가 부족한 상황에서 내재된 문제를 해결하기 위해 대규모 언어 모델(LLM)과 확산 모델(DM)을 활용하는 효과적인 데이터 증강 프레임워크를 제시한다. 최근 DM은 소수의 학습 이미지에 보완하기 위해 합성 이미지를 생성할 수 있는 가능성을 열었다. 그러나 합성 이미지의 다양성을 증가시키면 목표 분포(target distribution) 밖의 샘플을 생성할 위험도 함께 높아진다. 본 접근법은 이러한 문제를 텍스트 프롬프트에 LLM을 통해 새로운 의미 정보를 내재화하고, 실제 이미지를 시각적 프롬프트로 활용함으로써 의미가 풍부한 이미지를 생성하는 방식으로 해결한다. 생성된 이미지가 목표 분포 내에 유지되도록 하기 위해, 각 이미지의 CLIPScore에 따라 지침(guidance) 가중치를 동적으로 조정하여 다양성을 제어한다. 실험 결과, 본 방법은 목표 분포에 대한 순응성을 유지하면서도 향상된 다양성을 가진 합성 이미지를 생성함을 보여준다. 이에 따라 본 접근법은 여러 벤치마크에서 few-shot 설정에서 더 효율적임이 입증된다. 코드는 https://github.com/kkyuhun94/dalda 에서 제공된다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.