미분불능함수에 대한 일차근사 알고리즘 연구

본 연구는 신경망 모형에 쓰이는 ReLU(Rectified Linear Units) 함수처럼 미분불능점이 있는 함수에서, Gradient descent 계열 일차근사 최적화가 언제 어떻게 잘 수렴하는지 이론을 정리하는 연구임. 연구목표는 ① 제약조건을 가진 볼록 최적화에서 일차근사 방법을 연구하고 ② 제약조건 경계의 미분불능점이 수렴성에 미치는 영향과 Interior point method의 수렴성을 규명하며 ③ Structured Random Perturbation으로 미분불능점 계산을 단순화한 효율적 일차근사 알고리즘의 근사이론을 정립하는 데 있음. 기대효과는 Barrier function 기반 방법으로 실행가능영역을 벗어남 제어 부담을 줄이고 tensorflow나 pytorch의 symbolic differentiation로 RELU 합성 최적화를 구현해 제약조건이 있는 신경망 모형의 효율적 계산 알고리즘 개발에 기여함.