트랜스포머(Transformer)의 입력에 대한 쿼리(Query) 벡터 또는 키(Key) 벡터에 저계수 근사(low rank approximation)를 적용하는 단계;상기 쿼리 벡터와 키 벡터를 내적하여 근사 어텐션 스코어(attention score)를 산출하는 단계;상기 근사 어텐션 스코어를 구성하는 복수 행의 유사도에 기초하여 상기 복수 행을 적어도 한 그룹으로 클러스터링하는 단계;상기 그룹별 대표 행의 인덱스를 결정하고, 상기 쿼리 벡터에서 상기 인덱스에 대응하는 행을 추출하여 서브 쿼리 벡터를 생성하는 단계;상기 서브 쿼리 벡터와 상기 키 벡터를 이용하여 서브 어텐션 값을 산출하는 단계; 및상기 서브 어텐션 값을 구성하는 각 행을 상기 그룹별로 복사하여 어텐션 값(attention value)을 결정하는 단계를 포함하는트랜스포머의 어텐션 값 결정 방법.

제1항에 있어서,상기 저계수 근사를 적용하는 단계는상기 쿼리 벡터 또는 키 벡터에 대한 특이값 분해(Singular Value Decomposition; SVD)를 통해 상기 저계수 근사를 적용하는 단계를 포함하는트랜스포머의 어텐션 값 결정 방법.

제1항에 있어서,상기 클러스터링하는 단계는상기 복수 행 각각을 구성하는 요소들(elements) 간 유사도에 기초하여 상기 복수 행을 적어도 한 그룹으로 클러스터링하는 단계를 포함하는트랜스포머의 어텐션 값 결정 방법.

제1항에 있어서,상기 클러스터링하는 단계는상기 복수 행 각각과 미리 설정된 기준 행 간의 유사도에 기초하여 상기 복수 행을 상기 기준 행의 개수에 대응하는 그룹으로 클러스터링하는 단계를 포함하는트랜스포머의 어텐션 값 결정 방법.

제1항에 있어서,상기 그룹별 대표 행의 인덱스를 결정하는 단계는각 그룹의 중심(centroid)을 결정하는 단계와,상기 각 그룹에 포함된 복수 행 중 상기 중심에 가장 가까운 어느 한 행을 상기 대표 행으로 결정하는 단계를 포함하는트랜스포머의 어텐션 값 결정 방법.

제5항에 있어서,상기 각 그룹의 중심을 결정하는 단계는상기 그룹 내 복수의 행을 구성하는 요소들을 열 방향에 따라 평균하여 각 그룹의 중심을 결정하는 단계를 포함하는트랜스포머의 어텐션 값 결정 방법.

제1항에 있어서,상기 서브 어텐션 값을 산출하는 단계는상기 서브 쿼리 벡터와 상기 키 벡터를 내적하여 서브 어텐션 스코어를 산출하는 단계와,상기 서브 어텐션 스코어에 상기 트랜스포머의 입력에 대한 값(value) 벡터를 곱하여 상기 서브 어텐션 값을 산출하는 단계를 포함하는트랜스포머의 어텐션 값 결정 방법.

제1항에 있어서,상기 어텐션 값을 결정하는 단계는상기 서브 어텐션 값을 구성하는 각 행을 상기 각 행에 대응하는 그룹에 속한 복수 행의 위치에 복사하여 상기 어텐션 값을 결정하는 단계를 포함하는트랜스포머의 어텐션 값 결정 방법.