최근 몇 년 동안 확산 모델 및 더 일반적으로 점수 기반(score-based) 심층 생성 모델은 영상 및 음성 생성과 같은 다양한 응용 분야에서 괄목할 만한 성과를 거두었다. 본 논문에서는 확산 모델을 비모수적 밀도 추정에 대한 암시적(implicit) 접근으로 보고, 이를 통계적 틀 안에서 연구함으로써 그 놀라운 성능을 분석한다. 고차원 통계적 추론에서의 핵심 과제는 차원의 저주(curse of dimensionality)를 완화하기 위해 데이터에 내재된 저차원 구조를 활용하는 것이다. 우리는 근본적인 밀도가 저차원 성분들로의 분해(factorization)를 통해 저차원 구조를 가진다고 가정하는데, 이러한 성질은 베이지안 네트워크(Bayesian networks)와 마코프 확률장(Markov random fields)과 같은 예시에서 흔히 나타난다. 적절한 가정 하에서, 확산 모델로부터 구성된 암시적 밀도 추정기가 분해 구조에 적응하며, 총 변동 거리(total variation distance)에 대하여 최솟값-최대값(minimax) 최적의 수렴률을 달성함을 보인다. 추정기를 구성하는 과정에서, 우리는 희소 가중치 공유(sparse weight-sharing) 신경망(neural network) 아키텍처를 설계하며, 희소성(sparsity)과 가중치 공유(weight-sharing)는 합성곱 신경망(convolutional neural networks) 및 순환 신경망(recurrent neural networks)과 같은 실용적인 아키텍처의 핵심 특징이다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.