최근 이미지-투-비디오(I2V) 확산 모델의 발전은, 두 개의 핵심 프레임(keyframes) 사이에 의미적으로 그럴듯한 프레임을 생성하는 생성적 인비트위닝(generative inbetweening) 분야를 크게 진전시켰다. 특히, 추가 학습 없이 대규모 사전학습 I2V 모델의 생성적 사전지식(generative priors)을 활용하는 추론 시점 샘플링(inference-time sampling) 전략이 점점 더 인기를 얻고 있다. 그러나 기존의 추론 시점 샘플링은, 순방향 경로와 역방향 경로를 병렬로 결합하거나 순차적으로 교대로 사용하는 경우가 많지만, 두 경로가 생성한 결과 간의 정합성이 맞지 않아 시간적 불연속성과 바람직하지 않은 시각적 인공물(artifacts)이 종종 발생한다. 이는 각 경로가 자신이 조건화된 프레임에 의해 유도된 운동(motion) 사전지식을 따르기 때문이다. 본 연구에서는 전방 경로의 운동 잔차(motion residual)를 역방향 경로로 증류(distillation)함으로써 양방향 불일치(bidirectional mismatch)를 억제하는, 단순하면서도 효과적인 추론 시점 증류 기법인 운동 사전지식 증류(Motion Prior Distillation, MPD)를 제안한다. 우리의 방법은 경로의 모호성(ambiguity)을 초래하는 말단 조건(end-conditioned) 경로의 노이즈 제거(denoising)를 의도적으로 회피할 수 있으며, 전방 운동 사전지식을 활용하여 더 시간적으로 일관된 인비트위닝 결과를 제공한다. 우리는 표준 벤치마크에 대한 정량적 평가를 수행할 뿐만 아니라, 실제 시나리오에서 접근법의 효과를 입증하기 위해 광범위한 사용자 연구도 진행한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.