우리는 평면에서 부피 제약 하에 비등방성 곡률에 의해 집합이 운동하는 양상을 연구한다. 우리는 면적을 보존하는 비등방성 평탄 흐름이 같은 면적을 갖는 서로 분리된 Wulff 형상들의 연접(합집합)으로의 지수적 수렴을 보이며, 이는 비등방성 둘레(perimeter) 함수의 임계점에 해당한다. 이는 3ite{julin2022}에서 연구된 등방성 경우의 결과에 대한 비등방성 유사 해석이다. 본 접근의 참신성은 Cahn-Hoffman 지도를 사용하여 경계 성분을 Wulff 형상의 작은 섭동으로 매개화한다는 점에 있다. 또한 우리는 평탄 흐름이 특정한 반사 비교(reflection comparison) 대칭들을 보존함을 보이며, 이를 통해 수렴하는 프로파일과 초기 데이터 사이의 거리의 균일한 상계들을 얻을 수 있음을 보인다.

우리는 근위 정칙화(proximal regularization)를 결합한 가우스-자이델 유형의 블록 좌표 하강법(BCD-PR)을 고려한다. BCD-PR은 제약 하의 일반적인 비볼록 목적함수를 최소화하는 고전적 방법으로서, 실제 응용 분야가 폭넓다. 우리는 이 알고리즘에 대한 최악의 경우 복잡도 상계를 이론적으로 정립한다. 즉, 블록 단위 제약을 갖는 일반적인 비볼록 매끄러운 목적함수에 대해, 고전적 BCD-PR 알고리즘이 O(1/epsilon) 반복 내에 ε-정상점(ε-stationary point)으로 수렴함을 보인다. 또한 완화된 조건 하에서는, 알고리즘을 각 단계마다 부정확하게(inexactly) 수행하더라도 이 결과가 여전히 성립한다. 응용으로서, 주어진 d차원 결합확률분포들의 집합을 잘 근사할 수 있는 일련의 기본 확률분포들을 찾는 ‘Wasserstein CP-dictionary learning’을 위한 증명 가능하고 효율적인 알고리즘을 제안한다. 우리의 알고리즘은 이중 공간(dual space)에서 동작하는 BCD-PR의 한 버전이며, 원문제(primal problem)는 엔트로피(entropically) 및 근위적으로(proximally) 모두 정칙화된다.

점수 기반 생성 모델은 이미지 생성 및 오디오 합성과 같은 다양한 응용에서 주목할 만한 경험적 성능을 달성하는 것으로 나타났다. 그러나 점수 기반 확산 모델에 대한 이론적 이해는 여전히 불완전하다. 최근 Song 등은 점수 기반 생성 모델의 학습 목적함수가 생성 분포가 데이터 분포로부터 멀어지는 Kullback-Leibler 발산을 최소화하는 것과 동치임을 보였다. 본 연구에서는 모델에 대해 적절한 가정을 두었을 때, 점수 기반 모델도 그들 사이의 Wasserstein 거리(Wasserstein distance)를 최소화함을 보인다. 구체적으로, Wasserstein 거리는 목적 함수의 제곱근으로 상계되며, 이는 곱셈 상수와 고정된 상수 오프셋까지의 형태로 성립함을 증명한다. 본 증명은 최적 수송(optimal transport) 이론의 새로운 적용에 기반하며, 이는 사회에 대해 독립적인 관심을 가질 수 있다. 우리의 수치 실험은 이러한 결과를 뒷받침한다. 또한 상계에 대한 분석을 통해 더 타이트한 상계를 얻기 위한 몇 가지 기법을 제시한다.

우리는 평면에서 부피 제약 하에 비등방성 곡률에 의해 집합이 운동하는 양상을 연구한다. 우리는 면적을 보존하는 비등방성 평탄 흐름이 같은 면적을 갖는 서로 분리된 Wulff 형상들의 연접(합집합)으로의 지수적 수렴을 보이며, 이는 비등방성 둘레(perimeter) 함수의 임계점에 해당한다. 이는 3ite{julin2022}에서 연구된 등방성 경우의 결과에 대한 비등방성 유사 해석이다. 본 접근의 참신성은 Cahn-Hoffman 지도를 사용하여 경계 성분을 Wulff 형상의 작은 섭동으로 매개화한다는 점에 있다. 또한 우리는 평탄 흐름이 특정한 반사 비교(reflection comparison) 대칭들을 보존함을 보이며, 이를 통해 수렴하는 프로파일과 초기 데이터 사이의 거리의 균일한 상계들을 얻을 수 있음을 보인다.

우리는 근위 정칙화(proximal regularization)를 결합한 가우스-자이델 유형의 블록 좌표 하강법(BCD-PR)을 고려한다. BCD-PR은 제약 하의 일반적인 비볼록 목적함수를 최소화하는 고전적 방법으로서, 실제 응용 분야가 폭넓다. 우리는 이 알고리즘에 대한 최악의 경우 복잡도 상계를 이론적으로 정립한다. 즉, 블록 단위 제약을 갖는 일반적인 비볼록 매끄러운 목적함수에 대해, 고전적 BCD-PR 알고리즘이 O(1/epsilon) 반복 내에 ε-정상점(ε-stationary point)으로 수렴함을 보인다. 또한 완화된 조건 하에서는, 알고리즘을 각 단계마다 부정확하게(inexactly) 수행하더라도 이 결과가 여전히 성립한다. 응용으로서, 주어진 d차원 결합확률분포들의 집합을 잘 근사할 수 있는 일련의 기본 확률분포들을 찾는 ‘Wasserstein CP-dictionary learning’을 위한 증명 가능하고 효율적인 알고리즘을 제안한다. 우리의 알고리즘은 이중 공간(dual space)에서 동작하는 BCD-PR의 한 버전이며, 원문제(primal problem)는 엔트로피(entropically) 및 근위적으로(proximally) 모두 정칙화된다.

점수 기반 생성 모델은 이미지 생성 및 오디오 합성과 같은 다양한 응용에서 주목할 만한 경험적 성능을 달성하는 것으로 나타났다. 그러나 점수 기반 확산 모델에 대한 이론적 이해는 여전히 불완전하다. 최근 Song 등은 점수 기반 생성 모델의 학습 목적함수가 생성 분포가 데이터 분포로부터 멀어지는 Kullback-Leibler 발산을 최소화하는 것과 동치임을 보였다. 본 연구에서는 모델에 대해 적절한 가정을 두었을 때, 점수 기반 모델도 그들 사이의 Wasserstein 거리(Wasserstein distance)를 최소화함을 보인다. 구체적으로, Wasserstein 거리는 목적 함수의 제곱근으로 상계되며, 이는 곱셈 상수와 고정된 상수 오프셋까지의 형태로 성립함을 증명한다. 본 증명은 최적 수송(optimal transport) 이론의 새로운 적용에 기반하며, 이는 사회에 대해 독립적인 관심을 가질 수 있다. 우리의 수치 실험은 이러한 결과를 뒷받침한다. 또한 상계에 대한 분석을 통해 더 타이트한 상계를 얻기 위한 몇 가지 기법을 제시한다.

하위 수준 문제가 제약이 없고 강하게 볼록인 경우, 이계(bilevel) 최적화에서 정상점(stationary points)을 찾는 문제를 고찰한다. 이 문제는 최근 수년 동안 광범위하게 연구되어 왔으며, 주요 기술적 난제는 상위 수준 변수 $x$의 변화에 대한 응답으로 하위 수준 해 $y^{\ast }(x)$를 추적하는 데 있다. 이후 기존의 모든 접근법은 하위 수준 해를 알고 있는 유전(genie) 알고리즘에 분석을 접목시키는 경향이 있으며, 따라서 그와는 멀리 떨어진 어떤 점도 질의할 필요가 없다. 본 연구는 이러한 접근법들과 대비되는 이중(dual) 질문을 다룬다. 즉, $y^{\ast }(x)$에 대한 하위 수준 해를 $O(\epsilon )$의 정확도로 추정해 주는 오라클(oracle), $y^{\ast }$-aware 오라클을 가정하고, 더 나아가 $y^{\ast }(x)$ 주변의 반경 $\Theta (\epsilon )$-볼 안에서 1차 기울기 추정기가 { \it locally unbiased} (국소적으로 불편)하다고 하자. 이러한 $y^{\ast }$-aware 오라클을 이용하여 정상점을 찾는 문제의 복잡도를 연구한다. 우리는 $O({\epsilon }^{-6})$, $O({\epsilon }^{-4})$번의 1차 $y^{\ast }$-aware 오라클 접근을 통해 $\epsilon$-정상점에 수렴하는 간단한 1차 방법을 제안한다. 우리의 상한(upper bounds)은 표준 불편 1차 오라클에도 적용되며, 최소한의 가정 하에서 1차 방법의 최선으로 알려진 복잡도를 $O(\epsilon )$만큼 개선한다. 이어서 각각에 대해, 추가적인 매끄러움(smoothness) 가정이 없는 경우와 있는 경우의 $\Omega ({\epsilon }^{-6})$, $\Omega ({\epsilon }^{-4})$에 해당하는 일치하는 하한(lower bounds)을 제시한다. 우리의 결과는 $y^{\ast }$-aware 오라클을 시뮬레이션하는 어떤 접근법도 동일한 하한을 겪어야 함을 시사한다.

우리는 1차 그라디언트 오라클만 이용 가능한 경우의 확률적 제약 없는 이계(bilevel) 최적화 문제를 고려한다. 이계 문제를 다루기 위한 수많은 최적화 방법이 제안되어 왔으나, 기존 방법들은 대체로 하위 수준 목적함수의 헤시안(Hessian)에 관한 비용이 들 수 있는 계산을 요구하거나, 엄밀한 유한 시간 성능 보장(guarantees)을 제공하지 못하는 경향이 있다. 본 연구에서는 Fully First-order Stochastic Approximation(F2SA) 방법을 제안하고, 그 비동차적(non-asymptotic) 수렴 특성을 연구한다. 구체적으로, 확률적 잡음이 두 수준 목적함수 모두에 존재하는 경우, 오직 상위 수준 목적함수에만 존재하는 경우, 그리고 존재하지 않는 경우(결정론적 설정) 각각에 대해 F2SA가 이계 문제의 $\epsilon$-정지점(stationary solution)으로 ${\epsilon }^{-7/2},{\epsilon }^{-5/2},{\epsilon }^{-3/2}$번의 반복(iterations) 후에 수렴함을 보인다(각 반복은 $O(1)$개의 샘플을 사용). 또한 운동량(momentum) 보조 그라디언트 추정기를 사용하면 반복 복잡도(iteration complexities)가 각각 ${\epsilon }^{-5/2},{\epsilon }^{-4/2},{\epsilon }^{-3/2}$로 개선될 수 있음을 추가로 보인다. 마지막으로, 제안한 방법이 MNIST 데이터-하이퍼클리닝(data-hypercleaning) 실험에서 기존의 2차(second-order) 기반 접근법들보다 더 우수한 실제 성능을 보임을 입증한다.

본 연구에서는 목적함수는 양 수준 모두에서 매끄럽지만 비볼록일 수 있으며, 변수는 닫힌 볼록집합으로 제한되는 이계 최적화(Bilevel Optimization, BO)를 해결하기 위한 1차 알고리즘을 연구한다. 첫 단계로, 상위-수준과 하위-수준 목적함수를 가중합으로 결합하고 패널티 매개변수 σ>0을 사용하는 패널티 방법의 관점에서 BO의 경관(landscape)을 연구한다. 특히, 패널티 함수와 하이퍼-목적(hyper-objective) 간의 강한 연관성을 확립하며, 두 값과 도함수가 O(σ)만큼 서로 근접해야 하는 조건을 명시적으로 특성화함으로써 이를 보인다. 분석의 부수 결과로, 하위-수준 문제가 최소한의 조건 하에서 다중 해를 가질 때 하이퍼-목적의 그래디언트에 대한 명시적 공식을 도출하며, 이는 독립적인 관심사일 수 있다. 다음으로, 패널티 정식을 원래 BO의 O(σ) 근사로 간주하여, σ=O(ε)로 패널티 정식을 최적화함으로써 ε-정류(ε-stationary) 해를 찾는 1차 알고리즘을 제안한다. 교란된 하위-수준 문제가 소(小)오차 근접 오차 경계(error bound, EB) 조건을 균일하게 만족할 때, 패널티 함수의 ε-정류 점으로 수렴하는 1차 알고리즘을 제안하며, 오라클이 결정론적일 때 총 O(ε^{-3}), 오라클이 잡음(noisy)일 때 총 O(ε^{-7})의 1차(확률적) 그래디언트 오라클 접근을 사용한다. 확률적 오라클에 대한 추가 가정 하에서, 알고리즘은 완전한 {\it single-loop} 방식으로 구현될 수 있음을 보이는데, 즉 반복당 O(1)개의 샘플만으로 수행되며, 각각 O(ε^{-3}) 및 O(ε^{-5})의 향상된 오라클 복잡도(oracle-complexity)를 달성한다.