우리는 1차 그라디언트 오라클만 이용 가능한 경우의 확률적 제약 없는 이계(bilevel) 최적화 문제를 고려한다. 이계 문제를 다루기 위한 수많은 최적화 방법이 제안되어 왔으나, 기존 방법들은 대체로 하위 수준 목적함수의 헤시안(Hessian)에 관한 비용이 들 수 있는 계산을 요구하거나, 엄밀한 유한 시간 성능 보장(guarantees)을 제공하지 못하는 경향이 있다. 본 연구에서는 Fully First-order Stochastic Approximation(F2SA) 방법을 제안하고, 그 비동차적(non-asymptotic) 수렴 특성을 연구한다. 구체적으로, 확률적 잡음이 두 수준 목적함수 모두에 존재하는 경우, 오직 상위 수준 목적함수에만 존재하는 경우, 그리고 존재하지 않는 경우(결정론적 설정) 각각에 대해 F2SA가 이계 문제의 $\epsilon$-정지점(stationary solution)으로 ${\epsilon }^{-7/2},{\epsilon }^{-5/2},{\epsilon }^{-3/2}$번의 반복(iterations) 후에 수렴함을 보인다(각 반복은 $O(1)$개의 샘플을 사용). 또한 운동량(momentum) 보조 그라디언트 추정기를 사용하면 반복 복잡도(iteration complexities)가 각각 ${\epsilon }^{-5/2},{\epsilon }^{-4/2},{\epsilon }^{-3/2}$로 개선될 수 있음을 추가로 보인다. 마지막으로, 제안한 방법이 MNIST 데이터-하이퍼클리닝(data-hypercleaning) 실험에서 기존의 2차(second-order) 기반 접근법들보다 더 우수한 실제 성능을 보임을 입증한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.