그래프 증강 기반 그래프 뉴럴 네트워크 학습 방법 및 장치
APPARATUS AND METHOD FOR TRAINING GRAPH NEURAL NETWORK BASED ON GRAPH AUGMENTATION
특허 요약
본 개시는 하나 이상의 프로세서에 의하여 수행되는 그래프 뉴럴 네트워크 학습 방법으로써, 원시 그래프로부터 증강 그래프를 생성하는 단계; 상기 증강 그래프에 기초하여, 증강 그래프 특징 데이터를 생성하는 단계; 및 상기 증강 그래프 특징 데이터를 이용하여, 그래프 임베딩 생성 모듈을 학습시키는 단계;를 포함하고, 상기 증강 그래프 특징 데이터는, 상기 증강 그래프의 노드 특징 데이터 및 고차원 근접성 데이터를 포함하는 것을 특징으로 할 수 있다.
청구항
번호청구항
1

하나 이상의 프로세서에 의하여 수행되는 그래프 뉴럴 네트워크 학습 방법으로써,원시 그래프로부터 증강 그래프를 생성하는 단계;상기 증강 그래프에 기초하여, 증강 그래프 특징 데이터를 생성하는 단계; 및상기 증강 그래프 특징 데이터를 이용하여, 그래프 임베딩 생성 모듈을 학습시키는 단계;를 포함하고,상기 증강 그래프 특징 데이터는,상기 증강 그래프의 노드 특징 데이터 및 고차원 근접성 데이터를 포함하는 것을 특징으로 하는,그래프 뉴럴 네트워크 학습 방법.

2

제1 항에 있어서,상기 원시 그래프로부터 증강 그래프를 생성하는 단계는,상기 원시 그래프의 노드 쌍(node pair) 각각에 대해, 원시 그래프 연결 편향도(connectivity bias) 데이터를 생성하는 단계; 및원시 인접성(adjacency) 데이터 및 상기 원시 그래프 연결 편향도 데이터를 이용하여 증강 인접성 데이터를 생성하는 단계;를 포함하는,그래프 뉴럴 네트워크 학습 방법.

3

제2 항에 있어서,상기 원시 그래프의 노드 쌍 각각에 대해, 원시 그래프 연결 편향도 데이터에 포함된 연결 편향도 값은,상기 원시 그래프에 포함된 제1 노드 및 제2 노드의 연결도가 낮을수록 커지는 것을 특징으로 하는,그래프 뉴럴 네트워크 학습 방법.

4

제2 항에 있어서,상기 증강 인접성 데이터를 생성하는 단계는,상기 원시 인접성 데이터 및 상기 연결 편향도 데이터의 합 또는 가중 합을 이용하여, 조정 인접성 데이터를 생성하는 단계; 및상기 조정 인접성 데이터에 대해 기 설정된 간선 변경 함수를 적용하여, 상기 증강 인접성 데이터를 생성하는 단계;를 포함하는,그래프 뉴럴 네트워크 학습 방법.

5

제4 항에 있어서,상기 간선 변경 함수는,상기 조정 인접성 데이터에 기초하는 확률 추출 함수를 이용하는 것을 특징으로 하는,그래프 뉴럴 네트워크 학습 방법.

6

제5 항에 있어서,상기 확률 추출 함수는,베르누이 추출(Bernoulli sampling) 함수인 것을 특징으로 하는,그래프 뉴럴 네트워크 학습 방법.

7

제1 항에 있어서,상기 증강 그래프에 기초하여, 증강 그래프 특징 데이터를 생성하는 단계는,제1 가중치 데이터를 이용하여, 노드의 원시 특징 데이터로부터 노드 특징 데이터를 생성하는 단계;를 포함하는,그래프 뉴럴 네트워크 학습 방법.

8

제1 항에 있어서,상기 증강 그래프에 기초하여, 증강 그래프 특징 데이터를 생성하는 단계는,상기 증강 그래프에 포함된 제3 노드의 컨텍스트 노드(context node)를 결정하는 단계;상기 증강 그래프에 포함된 제4 노드의 컨텍스트 노드를 결정하는 단계; 및상기 제3 노드의 컨텍스트 노드 및 상기 제4 노드의 컨텍스트 노드 중첩 비율에 기초하여, 상기 고차원 근접성 데이터를 생성하는 단계;를 포함하는,그래프 뉴럴 네트워크 학습 방법.

9

제8 항에 있어서,상기 제3 노드의 컨텍스트 노드는,상기 제3 노드와 동일한 커뮤니티(community)에 속하고, 상기 제3 노드로부터 기 설정된 수의 홉(hop)에 의하여 도달될 수 있는 노드인 것을 특징으로 하는,그래프 뉴럴 네트워크 학습 방법.

10

제8 항에 있어서,상기 증강 그래프 특징 데이터는,상기 증강 그래프의 노드 간 연결도 기반 거리 데이터를 더 포함하는,그래프 뉴럴 네트워크 학습 방법.

11

제1 항에 있어서,상기 그래프 임베딩 생성 모듈을 학습시키는 단계는,상기 증강 그래프 특징 데이터를 이용하여 셀프-어텐션 연산을 수행하는 단계;를 포함하는,그래프 뉴럴 네트워크 학습 방법.

12

제11 항에 있어서,상기 셀프-어텐션 연산을 수행하는 단계는,상기 노드 특징 데이터 및 상기 고차원 근접성 데이터를 이용하여, 쿼리 데이터 및 키 데이터를 생성하는 단계; 및상기 쿼리 데이터 및 상기 키 데이터에 기초하여, 어텐션 데이터를 생성하는 단계;를 포함하는,그래프 뉴럴 네트워크 학습 방법.

13

제12 항에 있어서,상기 쿼리 데이터 및 키 데이터를 생성하는 단계는,상기 증강 그래프에 포함된 제5 노드의 노드 특징 데이터 및 상기 제5 노드와 제6 노드의 고차원 근접성 데이터를 연결하여, 상기 쿼리 데이터를 생성하는 단계; 및상기 증강 그래프에 포함된 제6 노드의 노드 특징 데이터 및 상기 제5 노드와 상기 제6 노드의 고차원 근접성 데이터를 연결하여, 상기 키 데이터를 생성하는 단계;를 포함하는,그래프 뉴럴 네트워크 학습 방법.

14

제11 항에 있어서,상기 그래프 임베딩 생성 모듈을 학습시키는 단계는,상기 셀프-어텐션 연산의 수행 결과에, 선형 투영 연산을 수행하는 단계;를 포함하고,상기 선형 투영 연산은, 피드 포워드 네트워크를 이용하는 것을 특징으로 하는,그래프 뉴럴 네트워크 학습 방법.

15

제11 항에 있어서,상기 그래프 임베딩 생성 모듈을 학습시키는 단계는,상기 셀프-어텐션 연산의 수행 결과에 기초하여, 그래프 임베딩을 생성하는 단계; 및상기 그래프 임베딩 및 증강 인접성 데이터에 기초하여, 자기 지도 학습을 수행하는 단계;를 포함하는,그래프 뉴럴 네트워크 학습 방법.

16

제15 항에 있어서,상기 자기 지도 학습을 수행하는 단계는,상기 그래프 임베딩에 기초하여, 재구축 손실 값을 연산하는 단계;상기 증강 인접성 데이터에 기초하여, 그래프 증강 손실 값을 연산하는 단계; 및상기 재구축 손실 값 및 상기 그래프 증강 손실 값의 가중 합을 이용하여, 학습 손실 값을 연산하는 단계;를 포함하는,그래프 뉴럴 네트워크 학습 방법.

17

제16 항에 있어서,상기 재구축 손실 값을 연산하는 단계는,상기 원시 그래프의 연결 재현 정도를 표현하는 연결 재구축 손실 값(connection reconstruction loss)을 연산하는 단계; 및상기 원시 그래프의 노드 원시 특징 데이터의 재현 정도를 표현하는 노드 특징 재구축 손실 값을 연산하는 단계;를 포함하는,그래프 뉴럴 네트워크 학습 방법.

18

제17 항에 있어서,상기 연결 재구축 손실 값은,상기 원시 그래프의 제1 전이 행렬과, 상기 그래프 임베딩으로부터 생성된 제1 코사인 유사도 행렬 간의 차이에 기초하여 연산되는 것을 특징으로 하는,그래프 뉴럴 네트워크 학습 방법.

19

제16 항에 있어서,상기 그래프 증강 손실 값을 연산하는 단계는,원시 인접성 데이터 및 증강 인접성 데이터를 이용하여 상기 그래프 증강 손실 값을 연산하는 단계;를 포함하는 것을 특징으로 하는,그래프 뉴럴 네트워크 학습 방법.

20

제19 항에 있어서,상기 그래프 증강 손실 값을 연산하는 단계는,크로스 엔트로피 함수를 이용하는 것을 특징으로 하는,그래프 뉴럴 네트워크 학습 방법.