최근 몇몇 연구에서는, 기존의 층이 포착할 수 없는 제약을 부호화하기 위해 특정 유형의 최적화 문제를 심층 신경망 설계에 활용하는 방법들을 제안해 왔다. 그러나 이러한 방법들은 아직 초기 단계이며, 역전파 공식을 도출하기 위해 카루시-쿤-터커(Karush-Kuhn-Tucker, KKT) 조건의 분석과 같은 특수한 처리가 필요하다. 본 논문에서는 심층 네트워크에서 더 복잡한 연산의 활용을 용이하게 하는 고정점 반복(fixed-point iteration, FPI) 층이라는 새로운 정식을 제안한다. 순환 역전파(recurrent backpropagation, RBP) 알고리즘에 의해 동기가 부여된 역방향 FPI 층도 함께 제안한다. 다만 RBP와 달리, 역방향 FPI 층은 야코비안(Jacobian)을 명시적으로 계산하지 않고도 작은 네트워크 모듈을 통해 그래디언트를 산출한다. 실제 적용에서는 순방향 및 역방향 FPI 층 모두를 계산 그래프에서의 노드로 취급할 수 있다. 본 방법의 모든 구성요소는 고수준의 추상화 수준에서 구현되어, 노드 상에서 효율적인 고차 미분을 가능하게 한다. 또한 두 가지 실용적 방법, 즉 신경망 FPI(neural net FPI, FPI_NN) 층과 경사하강 FPI(gradient descent FPI, FPI_GD) 층을 제시한다. 여기서 FPI 갱신 연산은 각각 작은 신경망 모듈과 학습 가능한 비용 함수에 기반한 단일 경사하강 단계로 구성된다. FPI_NN은 직관적이고 단순한 반면, FPI_GD는 최근 연구된 에너지 함수 네트워크를 효율적으로 학습하는 데 사용할 수 있다. RBP 및 관련 연구는 실제 예시에 적용된 바가 없었으나, 본 연구의 실험 결과는 FPI 층이 영상 노이즈 제거, 광류(optical flow), 다중 라벨 분류와 같은 현실 세계의 문제에 성공적으로 적용될 수 있음을 보여준다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.