비디오 데이터 축약은 비디오 처리에 드는 막대한 계산 비용을 줄이는 것을 목표로 한다. 그러나 이는 공간적 외관과 시간적 역학 사이의 불가분의 상호 의존성에 관한 근본적인 문제에 직면해 있다. 선행 연구는 정적/동적 분리 패러다임을 따르며, 비디오를 정적 콘텐츠와 보조 모션 신호로 분해한다. 이러한 다단계 접근은 실제 세계의 행위에 내재된 결합 양상을 종종 잘못 재현한다. 우리는 희소 모션을 위한 점진적 정제 및 삽입(Progressive Refinement and Insertion for Sparse Motion, PRISM)이라는 통합적 접근을 제안하는데, 이는 비디오를 처음부터 통일되고 완전히 결합된 시공간 구조로 취급한다. 표현 효율을 최대화하기 위해 PRISM은 고정 프레임 최적화를 회피함으로써 비디오의 고유한 시간적 중복성을 해결한다. 비디오는 최소한의 시간적 기준 프레임에서 시작하여, 선형 보간으로는 비선형 역학을 포착하지 못하는 경우에 한해 핵심 프레임을 점진적으로 삽입한다. 이러한 핵심 순간은 그라디언트 불일치(gradient misalignments)를 통해 식별된다. 이러한 적응적 과정은 표현 능력이 필요한 곳에 정확히 배분되도록 보장하여, 복잡한 모션을 보존하면서 저장 요구량을 최소화한다. 광범위한 실험 결과, PRISM은 표준 벤치마크 전반에서 경쟁력 있는 성능을 달성함과 동시에, 희소하고 전체적으로 학습된 표현을 통해 최첨단 수준의 저장 효율을 제공함을 보여준다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.