본 연구의 최종 목표는 텍스트와 이미지 정보를 결합한 멀티모달 기계번역 모델 개발이다. 제안하는 방법은 텍스트 정보에만 의존하던 기존의 기계번역 방법론들의 한계점을 극복하기 위하여 이미지 정보로부터 번역에 필요한 정보를 최대한 활용하고 보다 정확한 번역 결과를 위하여 구문구조 정보를 결합한다. 제안 모델은 한국어에 최초로 시도되며 기존 모델보다 향상된 성능을 기대한다. 본 연구에서 제안하는 멀티모달 기계번역 모델은 크게 3가지로 구성되어 있다. 우선, 이미지에서 번역에 필요한 정보를 생성하기 위한 DNN기반의 멀티 레이블 이미지 분류기가 있다. 이 분류기의 목적은 이미지로부터 피쳐정보와 이미지의 객체정보를 나타내는 레이블을 얻는 것에 있다. 그런데, 본 연구에서 사용하는 이미지는 레이블을 포함하고 있지 않다. 그래서 이미지 캡션의 키워드를 이미지의 레이블로 결정하는 Weak Labeling 방법을 제안한다. 멀티 레이블 이미지 분류기는 Weak Label을 이용하여 사전학습한다. 다음은 이미지와 텍스트 정보를 결합하는 인코더이다. 인코더는 Recurrent Neural Network(RNN)으로 되어 있다. 텍스트는 Bidirectional LSTM을 사용하여 인코딩되며, 이미지로부터 멀티 레이블 이미지 분류기를 통해 생성된 2가지 정보들과 함께 결합한다. 마지막은 어텐션(Attention) 기반의 의존구문구조를 이용한 디코더이다. 디코더는 기존의 Sequential Decoding 방식과 달리 문장의 의존구문구조를 생성하는 알고리즘을 학습시켜 문법적으로 더 정확한 번역 결과를 생성한다. 그리고, 본 연구는 Universal Word Representation 학습 알고리즘 개발과 역-번역을 이용한 학습 데이터 확장을 통해 더 발전된 번역 결과를 얻을 수 있다. 다음은 연차별 연구 목표 및 내용이다. - 1차년도 -- 한국어/영어 이미지 캡션 코퍼스 제작(20,000개 이미지(100,000문장) 데이터 구축) -- Weak Label을 이용한 멀티레이블 이미지 분류기 개발 -- 멀티모달 정보들을 활용할 수 있는 프레임워크 개발 - 2차년도 -- DNN기반의 의존 파서 개발 -- 의존 파싱 기반의 디코더 연구 -- Universal Word Representation 연구 - 3차년도 -- 멀티모달 정보와 의존구문구조를 이용한 멀티모달 기계번역 모델 연구 -- 역-번역을 이용한 학습 데이터 자동 생성 연구 -- 문장 클러스터링 연구