본 연구에서는 활성화 분산에 따라 학습률을 조정하는 새로운 최적화 알고리즘 ADAACT를 제안한다. 우리의 방법은 학습 과정에서 뉴런 단위 적응성을 도입함으로써 뉴런 출력의 안정성을 향상시키며, 이는 이후 더 나은 일반화로 이어지는데, 이는 기존의 활성화 정규화 방법을 보완하는 접근이다. 실험 결과는 ADAACT가 표준 이미지 분류 벤치마크 전반에서 경쟁력 있는 성능을 보임을 보여준다. 우리는 CIFAR와 ImageNet에서 ADAACT를 평가하고, 이를 다른 최신 방법들과 비교한다. 특히 ADAACT는 실행 시간의 경쟁력을 유지하면서, Adam의 수렴 속도와 SGD의 강력한 일반화 성능 사이의 격차를 효과적으로 연결한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.