지식 기반 대화 모델은 외부 지식에 근거하여 주어진 대화 맥락에 대해 유익한 응답을 생성하는 것을 목표로 한다. 유익하고 맥락에 부합하는 응답을 생성하기 위해서는 대화 맥락과 외부 지식을 균형 있게 결합(conjugate)하는 것이 중요하다. 그러나 기존 연구들은 외부 지식원에서 적절한 지식 문장을 찾는 문제를, 정확한 대화 행위(dialogue acts)를 갖는 적절한 문장을 생성하는 문제보다 상대적으로 덜 주목해 왔다. 본 논문에서는 두 가지 지식 선택 전략을 제안한다: 1) Reduce-Match 및 2) Match-Reduce. 그리고 각 전략에 기반한 여러 신경 지식 기반 대화 모델을 탐색한다. Reduce-Match 전략에 기반한 모델은 먼저 전체 대화 맥락을 중요 특징이 보존된 단일 벡터로 압축(distill)한 다음, 이 맥락 벡터를 지식 문장들의 표현과 비교하여 관련된 지식 문장을 예측한다. Match-Reduce 전략에 기반한 모델은 먼저 맥락의 각 발화를 지식 문장과 매칭(match)하여 세밀한 상호작용을 포착하고, 정보 손실을 최소화하면서 이를 집계하여 지식 문장을 예측한다. 실험 결과는 각 지식 선택 전략을 사용하는 대화 모델이 지식 선택 정확도뿐 아니라 응답 생성 성능에서도 경쟁 기준선(competitive baselines)보다 우수함을 보여준다. 또한 Match-Reduce를 기반으로 한 최우수 모델은 Wizard of Wikipedia 데이터셋을 대상으로 한 비교 실험에서 기준선들을 능가한다. 아울러 Reduce-Match를 기반으로 한 최우수 모델은 CMU Document Grounded Conversations 데이터셋에서 기준선들을 능가한다.

의미 역할 라벨링(Semantic role labeling)은 자연어 문장에서 단어 관계와 관련된 내재적 의미를 이해하기 위한 효과적인 접근법이다. 특히 최근의 연구들은 심층 신경망, 그중에서도 순환 신경망(recurrent neural networks)을 사용하여 기존의 얕은 모델을 크게 향상시켰다. 그러나 순환적 업데이트의 한계로 인해 대규모 데이터 집합에 대해 긴 학습 시간이 필요하다. 또한 이들은 언어의 계층적 구조를 포착하지 못한다. 본 연구에서는 의미 역할 라벨링을 위해 주의(attentive) 표현들 사이의 선택적 연결(selective connections)을 제공하는 새로운 심층 신경 모델을 제안하며, 이를 통해 순환 업데이트를 제거한다. 실험 결과, 본 모델은 최신 연구들(state-of-the-art)에 비해 정확도가 더 우수함을 보였다. 본 모델은 각각 CoNLL 2005 및 CoNLL 2012 공유 과제에서 86.6 F1 점수와 83.6 F1 점수를 달성하였다. 연결 모듈(connection module)을 통해 계층 정보를 포착함으로써 정확도 향상이 향상되었다. 또한 본 모델은 반복적 업데이트를 회피하도록 병렬화될 수 있음을 보인다. 그 결과, 본 모델은 기준선 대비 학습 시간을 62%p(퍼센트 포인트) 감소시켰다.