신경망 학습을 위한 2차 최적화 방법, 예컨대 KFAC은 손실 지형의 곡률 정보를 활용함으로써 더 우수한 수렴성을 보인다. 그러나 이는 높은 계산 부담을 감수해야 한다. 본 연구에서는 KFAC에 사용되는 층별 피셔 정보 행렬(FIM)을 구성하는 두 가지 요소, 즉 활성화와 pre-activation gradient와 관련된 크로네커 인자에 대해 분석한다. 경험적 관찰을 통해 이들의 고유값 스펙트럼(eigenspectra)을 바탕으로 효율적인 근사 방안을 제안하며, 그 결과 계산 효율적인 최적화 방법인 MAC을 도출한다. 우리가 아는 한, MAC은 트랜스포머에서 사용되는 어텐션 레이어의 FIM에 크로네커 인자화를 적용하고, 어텐션 점수를 전처리(preconditioning)에 명시적으로 통합한 최초의 알고리즘이다. 또한 비선형 신경망에서 MAC의 수렴 특성을 연구하고, 그것이 전역 최소값(global minima)으로 수렴하는 두 가지 조건을 제시한다. 다양한 네트워크 아키텍처와 데이터셋에 대한 광범위한 평가 결과, 제안된 방법은 정확도, 엔드투엔드 학습 시간, 메모리 사용 측면에서 KFAC 및 기타 최신 방법들보다 우수함을 보인다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.