온라인 학습은, 전체 데이터셋을 한꺼번에 처리하는 배치 학습과 달리, 순차적으로 이용 가능한 데이터로부터 매개변수를 점진적으로 갱신하는 추론 패러다임이다. 본 논문에서는 전체 데이터셋의 미니배치가 순차적으로 이용 가능해진다고 가정한다. 알려지지 않은 매개변수에 대한 신념을 각 미니배치를 관측한 뒤 갱신하는 베이지안 틀은 온라인 학습에 자연스럽게 적합하다. 각 단계에서 우리는 현재의 사전분포와 새로운 관측치를 사용하여 사후분포를 갱신하며, 갱신된 사후분포가 다음 단계의 사전분포 역할을 한다. 그러나 이러한 재귀적 베이지안 갱신은 모델과 사전분포가 켤레(conjugate)인 경우가 아니면 계산적으로 거의 다루기 어려운 경우가 많다. 모델이 정규(regular)인 경우, 갱신된 사후분포는 베른슈타인-본 미제스 정리(Bernstein-von Mises theorem)에 의해 정당화되듯이 정규분포로 근사될 수 있다. 우리는 각 단계에서 변분(variational) 근사를 채택하고, 이러한 순차적 절차를 통해 얻은 최종 사후분포의 빈도주의적 성질을 조사한다. 완만한(경미한) 가정 하에서, 매개변수 차원에 따라 결정되는 역치(threshold)를 미니배치 크기가 초과하면 누적된 근사 오차가 무시 가능해짐을 보인다. 그 결과, 순차적으로 갱신된 사후분포는 점근적으로 전체 사후분포와 구별할 수 없게 된다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.