점수기반 확산모델의 작동 원리를 설명하는 기존 이론의 핵심 가정은, 신경망이 score를 잘 근사한다는 것이다. 그러나 신경망과 score간의 오차를 실험적으로 측정할 방법은 없으며, NCSNv2의 경우 신경망 구조가 score와 명백하게 상이해서 잘 근사하는지에 대해 의구심을 갖게 한다. 본 연구에서는 점수기반 확산모델의 신경망 구조가 시간 정보를 곱셈적...

최적화(optimization)란, 여러 선택지와 그것들의 좋고 나쁨을 판정하는 기준이 주어져 있을 때 가장 좋은 선택지를 고르는 것을 의미한다. 이것을 수학적인 언어로 표현하면, 목적함수(objective function)의 최저점을 찾는 것이다. 자연과학, 공학, 사회과학, 산업계에서 다루는 수많은 문제를 최적화 문제로 표현할 수 있으므로, 좋은 최적화...

인구 기반 최적화 알고리즘에 대해 다음의 미해결 문제들을 연구할 것이다. 1. 확률적 나선 최적화 알고리즘의 수렴성 해석 나선 최적화 알고리즘을 연구한 한 선행연구에서는 입자들이 수렴하는 점이 일종의 약한 최적성을 가지고 있다는 것을 보였다. 구체적으로는, 입자들이 서로의 주위로 회전하면서 회전의 중심이 되는 점이 가장 낮은 목적함수 값을 가지게 한다면 회전 중심의 그래디언트의 절대값의 시간에 대한 하극한은 0이라는 것을 보였다. 그러나 이 논문에서는 동역학계 안의 회전행렬이 특정한 행렬들의 유한집합 내에서만 값을 취한다고 가정했다. 본 연구자는 회전행렬이 취할 수 있는 행렬의 종류에 더 큰 자유도를 주어, 적당한 연속확률분포를 따른다고 가정하고 수렴점의 존재성 및 최적성을 연구할 것이다. 이 문제와 더불어, 확률미분방정식으로 표현하는 동역학계에 대해서도 유사한 이론을 제시할 수 있을지 연구할 것이다. 2. 컨센서스 기반 최적화 알고리즘의 최적성 연구 선행연구에서는 수렴하는 점에서의 목적함수 값과 목적함수의 최솟값 사이의 거리에 대한 평가식을 구했다. 본 연구에서는 수렴하는 점이 일종의 약한 국소적 최적성을 만족시킨다는 것을 보일 예정이다. 나선 최적화 알고리즘에서 약한 국소적 최적성을 증명하기 위해 사용한 원리를 이용할 것이며, 이를 위해 컨센서스 기반 최적화 알고리즘에 회전을 넣는 방식으로 개량하는 것도 가능하다. 3. 인구 기반 훈련 기법의 수렴성 해석 2017년에 구글 딥마인드 연구자들이 인구 기반 최적화의 아이디어를 이용하여 기계학습에서의 새로운 하이퍼파라미터 최적화 기법을 제안하였다. 이 기법을 수학의 언어로 바꿔서 표현하면 다음과 같다: 목적함수를 f(x,y)라 할 때, 입자들이 x에 대한 그래디언트 하강법과 (x,y)에 대한 인구 기반 최적화를 번갈아 가며 적용하는 것이다. 이 선행연구 논문에서는 입자들의 수렴성 해석에 관심을 가지지 않았고, 이 기법이 응용 관점에서 다른 하이퍼파라미터 최적화 기법들에 비해 얼마나 성능이 뛰어난지를 논했다. 본 연구과제에서는 이 기법의 수렴점의 존재 여부와 그 점의 최적성에 대한 조건을 찾고 해석적으로 증명하는 것에 집중하고자 한다.

1. Use the generalized particle-in-cell method to rigorously derive a mean-field limit from the Cucker-Smale ODE on a Riemannian manifold to the kinetic equation. Approach the problem by considering the particle distribution function on the tangent bundle over the given manifold, endowed with the Sasaki metric. 2. Decide whether RBM is a good approximation to the original collective dynamics model or not, by observing how much similarity between the asymptotic behavior of the original model and that of the RBM model there is. Investigate whether the RBM-applied Cucker-Smale model exhibits flocking behavior or not.