최근 연구들은 동형암호화(HE)를 활용한 개인정보 보호 딥 신경망의 배치, 특히 사적 추론(PI)에 관하여 탐구해 왔다. 다수의 연구는 PI에서의 근사 인식 학습(AAT) 접근법을 시도하여, 재학습을 허용함으로써 HE 상에서 계산하기 더 쉬운 저차 다항식으로 모델의 활성화 함수를 변경한다. 그러나 학습 환경의 제약으로 인해, 기존 평문 모델의 사전 학습 파라미터를 재학습 없이 그대로 사용하는 사후 학습 근사(PTA)를 고려해야 하는 경우가 흔하다. 기존의 PTA 연구들은 정확도 손실을 완화하기 위해 모든 층의 활성화 함수를 고차로 일괄 근사해 왔으며, 그 결과 상당한 시간 소요가 발생하였다. 본 연구는 PTA 시나리오에서 각 층마다 서로 다른 근사 다항식을 사용함으로써 정확도 손실과 시간 소요를 모두 최적화하는 체계적인 프레임워크인 최적화 층별 근사(OLA)를 제안한다. 효율적인 근사를 위해, 최적화 문제를 구성할 때 각 활성화 함수의 실제 입력 분포를 고려하여 분류 정확도에 대한 층별 영향을 반영한다. 또한, 최적화 문제를 해결하고 다항식의 층별 차수를 다항시간 내에 도출하기 위해 동적 계획법 기법을 제공한다. 그 결과, OLA 방법은 균일한 차수의 다항식을 사용하는 기존 최고 수준 구현과 비교하여 ResNet-20 모델과 ResNet-32 모델의 추론 시간을 각각 3.02배 및 2.82배 감소시킨다. 더 나아가, 본 방법을 적용하여 ConvNeXt 모델에서 GELU 함수를 백본 모델의 수정 없이 단 3차 다항식으로 대체함으로써 CIFAR-10을 성공적으로 분류하였다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.