지식 그래프는 개체와 관계로 구성된 삼중항(triplets)을 통해 인간의 지식을 표현한다. 대부분의 기존 지식 그래프 임베딩 방법은 지식 그래프의 구조만을 고려하는 반면, 최근 제안된 일부 멀티모달 방법은 지식 그래프의 개체에 대한 이미지나 텍스트 설명을 활용한다. 본 논문에서는 개체뿐 아니라 삼중항도 이미지로 설명할 수 있으며, 개체와 관계 모두 텍스트 설명을 수반할 수 있는 시각-텍스트 지식 그래프(visual-textual knowledge graphs; VTKGs)를 제안한다. 시각적으로 표현 가능한 상식 지식을 편집하여, 삼중항 자체가 이미지로 설명되고 개체와 관계의 의미는 텍스트로 기술되는 새로운 벤치마크 데이터셋을 구축한다. 또한 본 논문에서는 VTKGs를 위한 지식 그래프 표현 학습 방법인 VISTA를 제안하며, 개체 인코딩, 관계 인코딩, 삼중항 디코딩 트랜스포머를 통해 개체와 관계의 시각 및 텍스트 표현을 통합한다. 실험 결과, VISTA는 실제 세계의 VTKGs에서 최신 지식 그래프 완성(knowledge graph completion) 방법들보다 우수한 성능을 보인다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.