우리는 계산 오버헤드를 줄이면서도 모델 성능을 유지하도록 설계된 효율적인 동형암호화(HE) 기반 프라이버시 보존 언어 모델(PPLM)인 Powerformer를 제안한다. Powerformer는 암호화된 연산을 최적화하기 위해 세 가지 핵심 기법을 통합한다: 1) 소프트맥스와 레이어 정규화를 계산적으로 효율적인 거듭제곱 및 선형 함수로 대체하는 새로운 증류(distillation) 기법으로, 성능 저하 없이 암호화 연산을 원활하게 가능하게 한다. 2) 최소한의 계산 오버헤드로 GELU 및 tanh 함수들을 정확하게 근사하는 의사-부호 복합 근사 방법. 3) 트랜스포머 모델에 특화하여 암호화된 환경에서의 효율을 향상시키는 동형 행렬 곱셈 알고리즘. 이러한 기법들을 BERT-base 모델 기반의 Powerformer에 통합함으로써, 정확도의 손실 없이 최신 동형암호화 기반 PPLM에 비해 계산 시간 45%를 감소시킨다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.