제 10 항에 있어서,상기 전이 확률을 계산하는 동작은,상기 제 1 노드와 상기 컨텍스트 노드 사이의 각 스텝 별로 전이 확률을 계산하는 동작을 포함하는,그래프 표현 학습 시스템.

컴퓨팅 장치에 의해 수행되는 그래프 표현 학습 방법에 있어서,그래프의 제 1 노드에 대응하는 컨텍스트 노드를 결정하는 단계;상기 제 1 노드 및 상기 컨텍스트 노드 사이의 구조적 거리를 계산하는 단계;상기 제 1 노드 및 상기 컨텍스트 노드 사이의 전이 확률을 계산하는 단계; 및상기 구조적 거리 및 상기 전이 확률에 기반하여 상기 제 1 노드 및 상기 컨텍스트 노드 사이의 셀프-어텐션(self-attention)을 계산하는 단계를 포함하되,상기 컨텍스트 노드를 결정하는 단계는:상기 제 1 노드로부터 기 설정된 일정 거리 내에 위치하는 제 2 노드를 결정하는 단계;상기 제 1 노드와의 구조적 유사도가 기 설정된 임계값 이상인 제 3 노드를 결정하는 단계; 및상기 제 2 노드 및 상기 제 3 노드를 상기 컨텍스트 노드로 결정하는 단계를 포함하는,그래프 표현 학습 방법.

제 1 항에 있어서,상기 제 2 노드를 결정하는 단계는,상기 제 1 노드로부터 k-hop 이하의 거리 내에 위치하는 노드를 상기 제 2 노드로 결정하는 단계를 포함하는,그래프 표현 학습 방법.

제 1 항에 있어서,상기 제 3 노드를 결정하는 단계는:상기 제 1 노드에 대한 제 1 순서화된 디그리 시퀀스(ordered degree sequence)를 계산하는 단계;상기 그래프의 각 노드에 대한 순서화된 디그리 시퀀스를 계산하는 단계; 및상기 계산된 순서화된 디그리 시퀀스 및 상기 제 1 순서화된 디그리 시퀀스 사이의 거리가 기 설정된 임계거리 미만인 노드를 상기 제 3 노드로 결정하는 단계를 포함하는,그래프 표현 학습 방법.

제 3 항에 있어서,상기 제 1 노드와 상기 제 3 노드는 가상 엣지(virtual edge)로 연결되는 것인,그래프 표현 학습 방법.

제 1 항에 있어서,상기 구조적 거리를 계산하는 단계는,상기 제 1 노드의 제 1 디그리, 상기 제 1 노드로부터 k-hop 거리 떨어진 노드의 디그리의 최소값, 최대값, 평균, 및 표준편차를 포함하는 제 1 세트를 획득하는 단계;상기 컨텍스트 노드의 제 2 디그리, 상기 컨텍스트 노드로부터 k-hop 거리 떨어진 노드의 디그리의 최소값, 최대값, 평균, 및 표준편차의 제 2 세트를 획득하는 단계; 및상기 제 1 세트와 상기 제 2 세트의 차이에 기반하여 상기 구조적 거리를 계산하는 단계를 포함하는,그래프 표현 학습 방법.

제 1 항에 있어서,상기 전이 확률을 계산하는 단계는,상기 제 1 노드와 상기 컨텍스트 노드 사이의 각 스텝 별로 전이 확률을 계산하는 단계를 포함하는,그래프 표현 학습 방법.

제 1 항에 있어서,상기 셀프-어텐션은 아래의 수학식에 의해 계산되는 것인,그래프 표현 학습 방법.(수학식)(상기 은 l번째 레이어의 k번째 어텐션 헤드에 대해 계산된 상기 셀프-어텐션이고, 상기 는 상기 제 1 노드 및 상기 컨텍스트 노드 사이의 구조적 거리이고, 상기 는 상기 제 1 노드 및 상기 컨텍스트 노드 사이의 전이 확률이고, 상기 는 상기 제 1 노드의 특징이고, 상기 는 상기 컨텍스트 노드의 특징이고, 상기 는 k번째 어텐션 헤드의 차원이고, 상기 및 상기 은 쿼리 및 값임)

제 1 항에 있어서,상기 제 1 노드 및 상기 컨텍스트 노드 사이의 전이 확률에 기반하여 제 1 손실함수를 계산하는 단계;상기 제 1 노드의 원시 특징 및 상기 제 1 노드에 대응하는 피드-포워드 신경망(FFN)의 출력에 기반하여 제 2 손실함수를 계산하는 단계; 및상기 제 1 손실함수 및 상기 제 2 손실함수의 합을 최소화하는 단계를 더 포함하는,그래프 표현 학습 방법.

제 8 항에 있어서,상기 제 1 손실함수를 최소화하는 것은 상기 제 1 노드 및 상기 컨텍스트 노드 사이의 전이 확률이, 상기 그래프의 임의의 노드 쌍에 대해 계산된 전이 확률 중 최대값을 갖도록 하는 것인,그래프 표현 학습 방법.

프로세서; 및인스트럭션(instruction)들을 저장하는 메모리를 포함하고,상기 인스트럭션들은 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,그래프의 제 1 노드에 대응하는 컨텍스트 노드를 결정하는 동작;상기 제 1 노드 및 상기 컨텍스트 노드 사이의 구조적 거리를 계산하는 동작;상기 제 1 노드 및 상기 컨텍스트 노드 사이의 전이 확률을 계산하는 동작; 및상기 구조적 거리 및 상기 전이 확률에 기반하여 상기 제 1 노드 및 상기 컨텍스트 노드 사이의 셀프-어텐션(self-attention)을 계산하는 동작을 수행하도록 하되,상기 컨텍스트 노드를 결정하는 동작은:상기 제 1 노드로부터 기 설정된 일정 거리 내에 위치하는 제 2 노드를 결정하는 동작;상기 제 1 노드와의 구조적 유사도가 기 설정된 임계값 이상인 제 3 노드를 결정하는 동작; 및상기 제 2 노드 및 상기 제 3 노드를 상기 컨텍스트 노드로 결정하는 동작을 포함하는,그래프 표현 학습 시스템.

제 10 항에 있어서,상기 제 2 노드를 결정하는 동작은,상기 제 1 노드로부터 k-hop 이하의 거리 내에 위치하는 노드를 상기 제 2 노드로 결정하는 동작을 포함하는,그래프 표현 학습 시스템.

제 10 항에 있어서,상기 제 3 노드를 결정하는 동작은:상기 제 1 노드에 대한 제 1 순서화된 디그리 시퀀스(ordered degree sequence)를 계산하는 동작;상기 그래프의 각 노드에 대한 순서화된 디그리 시퀀스를 계산하는 동작; 및상기 계산된 순서화된 디그리 시퀀스 및 상기 제 1 순서화된 디그리 시퀀스 사이의 거리가 기 설정된 임계거리 미만인 노드를 상기 제 3 노드로 결정하는 동작을 포함하는,그래프 표현 학습 시스템.

제 10 항에 있어서,상기 구조적 거리를 계산하는 동작은,상기 제 1 노드의 제 1 디그리, 상기 제 1 노드로부터 k-hop 거리 떨어진 노드의 디그리의 최소값, 최대값, 평균, 및 표준편차를 포함하는 제 1 세트를 획득하는 동작;상기 컨텍스트 노드의 제 2 디그리, 상기 컨텍스트 노드로부터 k-hop 거리 떨어진 노드의 디그리의 최소값, 최대값, 평균, 및 표준편차의 제 2 세트를 획득하는 동작; 및상기 제 1 세트와 상기 제 2 세트의 차이에 기반하여 상기 구조적 거리를 계산하는 동작을 포함하는,그래프 표현 학습 시스템.