스파이크 신경망(Spike Neural Networks)은 에너지 효율성을 제공하며 뉴로모픽 하드웨어에서 초저전력 추론을 위한 유망한 후보로 주목받고 있다. 컴퓨터 비전 분야에서는 광범위하게 연구되었지만, 자연어처리(Natural Language Processing)에서의 적용은 제한적이며 충분히 탐구되지 않았다. 기존 연구의 중요한 과제는 다음 세 가지이다. (1) 스파이크 발화 함수가 초기 조건에 민감하고, (2) 동일한 토큰 입력이 주어지더라도 스파이크 타이밍이 확률적으로 발생하여 문맥 정보의 안정적인 보존을 어렵게 하며, (3) 학습 유효성에 대한 스파이크 발생의 분석이 제한적이다. 학습 효율성과 안정성을 향상시키기 위해, 우리는 동적 스파이크 예측기(Dynamic Spike Predictor, DSP)를 제안하며 이를 통해 스파이크 생성을 적응적으로 조절한다. DSP는 각 시간 단계에서 스케일이 조정된 입력 전류를 예측하여 스파이크 활동을 조절함으로써 안정적인 그래디언트 흐름을 유지하고, 백본 SNNs에 대해 추가 파라미터는 약 0.2%에 불과하다. 우리는 세 가지 NLI 벤치마크(CB, RTE, SICK)에 대한 종합적인 실험을 통해 그 효과를 검증하고, DSP의 학습 성능, 견고성, 확장성에 관한 연구 질문들을 다룬다. 코드는 https://github.com/bigbases/Spike-Predictor 에서 제공된다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.