그린 러닝(GL)은 에너지 효율적인 해법과 경량 모델에 중점을 두어 딥러닝에서의 지속가능성을 촉진한다. 비디오를 위한 암시적 신경 표현(INR)은 이러한 패러다임 안에서 비디오 표현을 위한 소형화되고 효율적인 접근을 제공한다. 본 연구는 학습을 향상시키기 위해 신경 접선 커널(neural tangent kernel, NTK) 분석을 활용하는 비디오용 시공간적(sptatiotemporal) 스펙트럼 보존 신경 표현인 SNeRV+를 소개한다. 공간 및 시간 영역 모두에서 스펙트럼 편향을 완화하기 위해, SNeRV+는 2단계 처리 접근을 사용하며, 서로 다른 인코더 가지(encoder branch)가 저주파(LF)와 고주파(HF) 구성요소를 각각 처리한다. 3차원 이산 웨이블릿 변환(3-dimensional discrete wavelet transform)은 각 프레임을 시간적 변이(temporal variations)로 분해하고, LF와 HF 구성요소를 프레임 단위 임베딩으로 인코딩한다. 정적 장면과 안정적인 움직임을 포착하는 LF 구성요소는 프레임 전반에 걸쳐 고정 파라미터로 디코딩되어 시간적 불일치를 줄이고 스펙트럼 편향을 완화한다. 시간에 따라 변하는 세부 정보를 인코딩하는 HF 구성요소는 LF 관련 파라미터를 사전 정보(prior information)로 활용하는 시간적으로 적응적인 가중치(temporally adaptive weights)로 동적으로 재구성된다. 이러한 설계는 시간적 변이를 보다 효율적이고 소형화된 형태로 표현할 수 있게 한다. 실험 결과는 SNeRV+가 비디오 회귀, 보간, 외삽 및 압축에서 기존의 INR 기반 최첨단 방법을 능가하며, 정량적 평가 지표와 정성적 평가 지표 모두에서 우수한 성능을 달성함을 보여준다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.