하나 이상의 프로세서들, 및상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 동형암호(Homomorphic Encryption: HE) 기반의 개인정보 보호 언어 모델(Privacy Preserving Language Model: PLLM)의 학습 시 소프트맥스 함수를 대체하는 제1 대체 함수에 사용할 제1 대표 값을 산출하여 저장하는 단계; 및상기 PLLM의 추론 시 상기 제1 대체 함수를 통해 소프트맥스 함수를 대체하여 연산하는 단계를 포함하는, 방법.

청구항 1에 있어서, 상기 제1 대표 값은, 상기 소프트맥스 함수에서 분모의 값을 대체하는데 사용되는 상수 값인, 방법.

청구항 2에 있어서, 상기 제1 대표 값은, 상기 학습 시 배치 내 전체 입력 데이터에 대한 상기 PLLM의 중간 출력 값 중 최대 값인, 방법.

청구항 2에 있어서, 상기 소프트맥스 함수를 대체하는 상기 제1 대체 함수(BPMax(x))는 하기 수학식으로 표현되는, 방법. (수학식)x : 입력 데이터Rd : PLLM의 학습 시 배치 내에서 계산된 제1 대표 값c, p : 기 설정되는 상수

청구항 1에 있어서, 상기 방법은, 상기 PLLM의 학습 시 레이어 정규화(Layer Normalization)를 대체하는 제2 대체 함수에 사용할 제2 대표 값을 산출하여 저장하는 단계; 및상기 PLLM의 추론 시 상기 제2 대체 함수를 통해 레이어 정규화를 대체하여 연산하는 단계를 더 포함하는, 방법.

청구항 5에 있어서, 상기 제2 대표 값은, 상기 레이어 정규화에서 분모의 값을 대체하는데 사용되는 상수 값인, 방법.

청구항 6에 있어서, 상기 제2 대표 값은, 상기 학습 시 레이어 정규화에서 배치 단위로 분산을 산출할 때 산출된 분산 값들 중 최대 값인, 방법.

청구항 2에 있어서, 상기 레이어 정규화를 대체하는 상기 제2 대체 함수(Batch LN(x))는 하기 수학식으로 표현되는, 방법.(수학식)x: 배치 내 입력 데이터: 배치 내 입력 데이터들의 평균 값Rd2 : PLLM의 학습 시 배치 내에서 계산된 제2 대표 값: 정규화 된 값의 크기를 조절하는 스케일 파라미터: 정규화 된 값의 평균 위치를 이동시키는 시프트 파라미터

청구항 8에 있어서, 상기 제2 대체 함수(Batch LN(x))는 하기 수학식으로 표현되는, 방법.(수학식): 스케일 보정 파라미터

하나 이상의 프로세서들;메모리; 및하나 이상의 프로그램들을 포함하고,상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 동형암호(Homomorphic Encryption: HE) 기반의 개인정보 보호 언어 모델(Privacy Preserving Language Model: PLLM)의 학습 시 소프트맥스 함수를 대체하는 제1 대체 함수에 사용할 제1 대표 값을 산출하여 저장하기 위한 명령; 및상기 PLLM의 추론 시 상기 제1 대체 함수를 통해 소프트맥스 함수를 대체하여 연산하기 위한 명령을 포함하는, 컴퓨팅 장치.

청구항 10에 있어서, 상기 제1 대표 값은, 상기 소프트맥스 함수에서 분모의 값을 대체하는데 사용되는 상수 값으로, 상기 학습 시 배치 내 전체 입력 데이터에 대한 상기 PLLM의 중간 출력 값들 중에서 설정되는, 컴퓨팅 장치.

청구항 11에 있어서, 상기 소프트맥스 함수를 대체하는 상기 제1 대체 함수(BPMax(x))는 하기 수학식으로 표현되는, 컴퓨팅 장치. (수학식)x : 입력 데이터Rd : PLLM의 학습 시 배치 내에서 계산된 제1 대표 값c, p : 기 설정되는 상수

청구항 10에 있어서, 상기 하나 이상의 프로그램들은, 상기 PLLM의 학습 시 레이어 정규화(Layer Normalization)를 대체하는 제2 대체 함수에 사용할 제2 대표 값을 산출하여 저장하기 위한 명령; 및상기 PLLM의 추론 시 상기 제2 대체 함수를 통해 레이어 정규화를 대체하여 연산하기 위한 명령을 더 포함하는, 컴퓨팅 장치.

청구항 13에 있어서,상기 제2 대표 값은, 상기 레이어 정규화에서 분모의 값을 대체하는데 사용되는 상수 값으로, 상기 학습 시 레이어 정규화에서 배치 단위로 분산을 산출할 때 산출된 분산 값들 중에서 설정되는, 컴퓨팅 장치.

청구항 14에 있어서, 상기 레이어 정규화를 대체하는 상기 제2 대체 함수(Batch LN(x))는 하기 수학식으로 표현되는, 컴퓨팅 장치.(수학식)x: 배치 내 입력 데이터: 배치 내 입력 데이터들의 평균 값Rd2 : PLLM의 학습 시 배치 내에서 계산된 제2 대표 값: 정규화 된 값의 크기를 조절하는 스케일 파라미터: 정규화 된 값의 평균 위치를 이동시키는 시프트 파라미터: 스케일 보정 파라미터

비일시적 컴퓨터 판독 가능한 저장 매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금, 동형암호(Homomorphic Encryption: HE) 기반의 개인정보 보호 언어 모델(Privacy Preserving Language Model: PLLM)의 학습 시 소프트맥스 함수를 대체하는 제1 대체 함수에 사용할 제1 대표 값을 산출하여 저장하는 단계; 및상기 PLLM의 추론 시 상기 제1 대체 함수를 통해 소프트맥스 함수를 대체하여 연산하는 단계를 수행하도록 하는, 컴퓨터 프로그램.