① 멀티모달 모델 구축을 위한 데이터 테이블, 시각화, 캡션 수집 및 정제 멀티모달 모델을 구축하기 위해서는 양질의 학습 데이터 확보가 필수적으로, 1단계에서는 세 요소(데이터 테이블, 시각화, 캡션)에 대한 학습 데이터 세트를 구축하고자 한다. 크게 1) 레이블이 있는 학습 데이터와 2) 레이블이 없는 학습 데이터를 수집하려 한다. ② 준 지도 학습 기반 멀티모달 표현 모델 구축 수집할 수 있는 데이터의 크기가 한정적이므로 준 지도 학습 방법론을 도입하여 학습시키고자 한다. 우선, 수집된 데이터 중 레이블이 있는 데이터를 활용하여 세 요소를 하나의 통일된 고차원 공간상의 표현하는 멀티모달 모델을 개발하고자 한다 (본문 그림 1). 데이터 테이블, 시각화, 캡션은 상이한 형태의 데이터이지만 이를 하나의 통합된 공간에 표현하여, 다양한 생성 태스크를 이러한 모델을 세부 조정(fine-tuning)하는 것만으로 수행할 수 있도록 한다. 레이블이 있는(두 요소 간 매핑이 알려진) 데이터는 한정적이므로 레이블이 없는 데이터를 이용하여 이러한 양적인 한계를 극복하고 각 요소의 분포를 모델이 학습하게 하여 더욱 강건한(robust) 표현을 찾을 수 있도록 한다. 또한, 전체 수준 태스크뿐만 아니라 세부 수준 태스크를 지원할 수 있도록 표현을 확장한다.