최근 몇 년 동안 확산 모델 및 더 일반적으로 점수 기반(score-based) 심층 생성 모델은 영상 및 음성 생성과 같은 다양한 응용 분야에서 괄목할 만한 성과를 거두었다. 본 논문에서는 확산 모델을 비모수적 밀도 추정에 대한 암시적(implicit) 접근으로 보고, 이를 통계적 틀 안에서 연구함으로써 그 놀라운 성능을 분석한다. 고차원 통계적 추론에서의 핵심 과제는 차원의 저주(curse of dimensionality)를 완화하기 위해 데이터에 내재된 저차원 구조를 활용하는 것이다. 우리는 근본적인 밀도가 저차원 성분들로의 분해(factorization)를 통해 저차원 구조를 가진다고 가정하는데, 이러한 성질은 베이지안 네트워크(Bayesian networks)와 마코프 확률장(Markov random fields)과 같은 예시에서 흔히 나타난다. 적절한 가정 하에서, 확산 모델로부터 구성된 암시적 밀도 추정기가 분해 구조에 적응하며, 총 변동 거리(total variation distance)에 대하여 최솟값-최대값(minimax) 최적의 수렴률을 달성함을 보인다. 추정기를 구성하는 과정에서, 우리는 희소 가중치 공유(sparse weight-sharing) 신경망(neural network) 아키텍처를 설계하며, 희소성(sparsity)과 가중치 공유(weight-sharing)는 합성곱 신경망(convolutional neural networks) 및 순환 신경망(recurrent neural networks)과 같은 실용적인 아키텍처의 핵심 특징이다.

최근 몇 년 동안 확산 모델 및 더 일반적으로 점수 기반(score-based) 심층 생성 모델은 영상 및 음성 생성과 같은 다양한 응용 분야에서 괄목할 만한 성과를 거두었다. 본 논문에서는 확산 모델을 비모수적 밀도 추정에 대한 암시적(implicit) 접근으로 보고, 이를 통계적 틀 안에서 연구함으로써 그 놀라운 성능을 분석한다. 고차원 통계적 추론에서의 핵심 과제는 차원의 저주(curse of dimensionality)를 완화하기 위해 데이터에 내재된 저차원 구조를 활용하는 것이다. 우리는 근본적인 밀도가 저차원 성분들로의 분해(factorization)를 통해 저차원 구조를 가진다고 가정하는데, 이러한 성질은 베이지안 네트워크(Bayesian networks)와 마코프 확률장(Markov random fields)과 같은 예시에서 흔히 나타난다. 적절한 가정 하에서, 확산 모델로부터 구성된 암시적 밀도 추정기가 분해 구조에 적응하며, 총 변동 거리(total variation distance)에 대하여 최솟값-최대값(minimax) 최적의 수렴률을 달성함을 보인다. 추정기를 구성하는 과정에서, 우리는 희소 가중치 공유(sparse weight-sharing) 신경망(neural network) 아키텍처를 설계하며, 희소성(sparsity)과 가중치 공유(weight-sharing)는 합성곱 신경망(convolutional neural networks) 및 순환 신경망(recurrent neural networks)과 같은 실용적인 아키텍처의 핵심 특징이다.

우리는 현재 상태 모형(current status model)에서 사건 발생 시점(event time) 분포의 추론을 위한 베이지안 접근법을 연구한다. 이때 관측 시점은 잠재적으로 알려지지 않은 희소성(sparsity)을 갖는 격자(grid) 위에 지지되며, 여러 피험자가 동일한 관측 시점을 공유한다. 이 모형은 매우 단순한 우도(likelihood)를 도출하지만, 격자의 희소성이 알려져 있지 않기 때문에 통계적 추론은 비자명하다. 특히 최대우도추정기(maximum likelihood estimator)에 기반한 추론에서는 사건 발생 시점 분포의 밀도(density)를 추정해야 하는데, 사건 발생 시점은 직접 관측되지 않으므로 이는 어렵다. 우리는 사건 발생 시점 분포에 대한 디리클레 사전분포(Dirichlet prior)를 갖는 베이즈 절차를 고려한다. 이 사전분포 하에서는 깁스 샘플러(Gibbs sampler) 알고리즘을 통해 베이즈 추정량과 신뢰구간(credible sets)을 손쉽게 계산할 수 있다. 우리의 주요 기여는 사후분포(posterior distribution)의 빈도주의적(frequentist) 성질에 대한 철저한 규명을 제공하는 데 있다. 구체적으로, 사후 수렴률(posterior convergence rate)이 격자의 알려지지 않은 희소성에 적응적으로(adaptive) 결정됨을 보인다. 또한 격자가 충분히 희소한 경우, 베이즈 신뢰구간의 빈도주의적 타당성을 보장하는 베른슈타인–폰 미제 정리(Bernstein–von Mises theorem)도 추가로 증명한다. 아울러 수치적 연구도 예시를 위해 수행한다.

온라인 학습은, 전체 데이터셋을 한꺼번에 처리하는 배치 학습과 달리, 순차적으로 이용 가능한 데이터로부터 매개변수를 점진적으로 갱신하는 추론 패러다임이다. 본 논문에서는 전체 데이터셋의 미니배치가 순차적으로 이용 가능해진다고 가정한다. 알려지지 않은 매개변수에 대한 신념을 각 미니배치를 관측한 뒤 갱신하는 베이지안 틀은 온라인 학습에 자연스럽게 적합하다. 각 단계에서 우리는 현재의 사전분포와 새로운 관측치를 사용하여 사후분포를 갱신하며, 갱신된 사후분포가 다음 단계의 사전분포 역할을 한다. 그러나 이러한 재귀적 베이지안 갱신은 모델과 사전분포가 켤레(conjugate)인 경우가 아니면 계산적으로 거의 다루기 어려운 경우가 많다. 모델이 정규(regular)인 경우, 갱신된 사후분포는 베른슈타인-본 미제스 정리(Bernstein-von Mises theorem)에 의해 정당화되듯이 정규분포로 근사될 수 있다. 우리는 각 단계에서 변분(variational) 근사를 채택하고, 이러한 순차적 절차를 통해 얻은 최종 사후분포의 빈도주의적 성질을 조사한다. 완만한(경미한) 가정 하에서, 매개변수 차원에 따라 결정되는 역치(threshold)를 미니배치 크기가 초과하면 누적된 근사 오차가 무시 가능해짐을 보인다. 그 결과, 순차적으로 갱신된 사후분포는 점근적으로 전체 사후분포와 구별할 수 없게 된다.

다상태 질병 진행의 평가는 치주질환(PD)과 같은 생의학 연구에서 흔히 수행된다. 그러나 각 대상자의 질병 상태 전이를 진행한 양상이 알려진 시작 상태로부터 출발하여, 알려진 시작 상태 이후 임의의 관찰 시점에서만 각 대상자의 진행 상태에 관한 단일 스냅샷이 제공되는 다상태 현재 상태 엔드포인트의 존재는 추론의 틀을 복잡하게 만든다. 또한 이러한 엔드포인트는 군집화될 수 있으며, 공간적으로 연관될 수 있는데, 즉 동일한 대상자 내에서 서로 근접한 치아(근위부에 위치한 치아들)에서는 원위부에 위치한 치아들에 비해 유사한 PD 상태를 경험할 수 있다. 치주질환 진행을 기록한 임상 연구에 동기를 받아, (공간) 무작위 효과를 수용하기 위한 inverse-Wishart 제안을 포함하고 Dirichlet 과정 혼합의 가우시안에 따르는 유연한 오차를 사용하는 베이지안 반모수 가속 실패 시간 모델을 제안한다. 임상적 해석 가능성을 위해 사건 발생 시간의 체계적 구성요소는 단조 단일 지수 모델(monotone single index model)로 모형화하며, (미지의) 링크 함수는 새로운 통합 기저 확장(integrated basis expansion)과 제약된 가우시안 과정 사전(constrained Gaussian process priors)을 부여한 기저 계수(basis coefficients)를 통해 추정한다. 모수의 식별 가능성을 확립하는 것과 더불어, 타원형 슬라이스 샘플링(elliptical slice sampling), 빠른 순환 행렬 내삽(fast circulant embedding) 기법, 그리고 강한 제약의 매끄러운화(smoothing of hard constraints)를 조합하여 확장 가능한 계산을 제시하며, 이를 통해 모수 추정과 상태 점유 및 전이 확률을 용이하게 산출한다. 합성 데이터를 사용하여, 베이지안 추정치의 유한 표본 특성과 모형 설정 오류 하에서의 성능을 분석한다. 또한 실제 임상 PD 데이터셋에 적용하여 본 방법을 시연한다.