지식 그래프는 삼중항(triplets)으로 알려진 사실을 표현한다. 기존의 지식 그래프 임베딩 방법들은 엔터티 간의 연결 관계만을 고려하는 반면, 우리는 삼중항 간의 관계를 고려하는 방법을 제안한다. 예를 들어, 두 개의 기본 수준 삼중항 T1과 T2를 생각해 보자. 여기서 T1은 (Academy_Awards, Nominates, Avatar)이고 T2는 (Avatar, Wins, Academy_Awards)이다. 이 두 기본 수준 삼중항을 보면, T1이 T2의 선행 조건(prerequisite)임을 알 수 있다. 본 논문에서는 삼중항 사이의 관계를 나타내기 위해 PrerequisiteFor와 같은 상위 수준 관계를 가지는 상위 수준 삼중항(higher-level triplet)을 정의한다. 우리는 기본 수준과 상위 수준 삼중항으로 구성된 양층(bi-level) 지식 그래프를 정의한다. 또한, 양층 지식 그래프에서의 랜덤 워크(random walks)를 기반으로 하는 데이터 증강 전략을 제안하여 그럴듯한(가능성 있는) 삼중항을 보강한다. BiVE라고 하는 우리의 모델은 기본 수준 및 상위 수준 삼중항의 구조를 고려하고, 추가로 증강된 삼중항을 고려함으로써 임베딩을 학습한다. 우리는 두 가지 새로운 과제, 즉 삼중항 예측(triplet prediction)과 조건부 링크 예측(conditional link prediction)을 제안한다. 삼중항 T1과 상위 수준 관계가 주어졌을 때, 삼중항 예측은 예를 들어 T1을 상위 수준 관계에 의해 연결될 가능성이 높은 삼중항을 예측한다. 조건부 링크 예측은 또 다른 삼중항에 의해 조건이 주어진 상태에서, 삼중항 내의 누락된 엔터티를 예측한다. 실험 결과는 BiVE가 두 가지 새로운 과제 및 실제 양층 지식 그래프에서의 일반적인 기본 수준 링크 예측에서 모든 다른 방법들에 비해 유의미하게 더 우수함을 보여준다.

지난 10년 동안 여러 지식 그래프 표현 학습(KGRL) 방법이 제안되었으나, 이에 대한 이론적 분석은 매우 제한적으로 수행되어 왔다. 본 논문에서는 KGRL 방법에 대한 최초의 PAC-베이즈 일반화 경계를 제시한다. 광범위한 범주의 KGRL 모델을 분석하기 위해, 관계 인지 메시지 전달 인코더와 삼중항 분류 디코더로 구성된 일반화된 프레임워크인 ReED(Relation-aware Encoder-Decoder)를 제안한다. 우리의 ReED 프레임워크는 R-GCN 및 CompGCN과 같은 그래프 신경망 기반 모델뿐 아니라 RotatE 및 ANALOGY와 같은 얕은 구조의 모델까지 포함하여, 최소 15개의 서로 다른 기존 KGRL 모델을 표현할 수 있다. ReED 프레임워크에 대한 일반화 경계는 매개변수 공유 및 가중치 정규화 방식과 같이 KGRL에서 널리 사용되는 기법들에 대한 이론적 근거를 제공하며, 실용적인 KGRL 방법을 위한 바람직한 설계 선택을 제시한다. 또한 경험적으로, 본 일반화 경계에서의 핵심 요인들이 세 개의 실제 세계 지식 그래프에서 관찰되는 일반화 오류를 설명할 수 있음을 보인다.