주관|2022년 5월-2023년 5월
|57,572,000원 다중 기술, 다중 기간, 다중 화자 기반 대화 모델링 기술 개발
세부 목표 1: 다중 기술 대화 모델을 위한 학습 대화 데이터셋 자동 구축 기술 개발
본 연구에서는 단일 기술 대화 데이터셋(예: PC, WoW, ED)가 기 구축되어 있을 시, 이를 다중 기술 대화 데이터셋(예: BST)로 변환 및 융합하는 프레임워크를 개발한다. 이때 인간의 노력을 최소화하기 위해, 크라우드 소싱을 배제할 수 있는 자동화 기법을 개발하여, 최소 100만개(1M) 이상의 다중 기술 대화 샘플을 가진 대용량 대화 데이터셋을 구축한다. 나아가, 구축된 대화 데이터셋을 통해 대용량 언어모델 기반의 다중 기술 대화 모델을 학습 및 확보한다.
마치 기계 간에 토론을 벌이듯, 각기 다른 기술을 가진 여러 대화 모델들이 서로 인공적인 대화를 함으로써 다중 기술 대화 데이터셋을 구축하도록 한다. 이를 위해 각 단일 기술 대화 데이터셋으로부터 학습된 생성 기반 단일 기술 대화 모델이 발언자 역할을 한다. 동시에, Natural language inference 모델이 대화 문맥에 맞춰 다중 기술 발화 간 조화로움과 대화 일관성을 향상시키는 사회자 역할을 한다.
세부 목표 2: 다중 기간 대화 모델을 위한 장기 메모리 트리 구축 및 검색 기술 개발
본 연구에서는 기계가 생성한 요약을 검색 인덱스로 하여, 이전 기간에서 관련된 대화 발화를 연결 및 저장해두는 장기 메모리 트리를 개발한다. 실제 대화가 진행 중인 온라인 시간에는 현재 기간의 대화 문맥과 가장 관련있는 이전 기간 대화 문맥을 동적(on-the-fly)으로 빠른 시간 내에 구성해주는 검색 기법을 개발한다. 나아가, 장기 메모리 트리 및 검색 기법을 활용하여 대용량 언어 모델 기반의 다중 기간 대화 모델을 학습 및 확보한다.
요약의 각 문장을 질의(query)로 설정하고, 이전 기간 대화의 각 발화를 검색 후보로 설정하여 다중 후보 랭킹(multi-candidate scoring) 기법을 활용하는 검색 모델을 학습한다. 온라인 검색을 요구하므로, 불필요한 탐색을 막기 위해 요약 문장에 가짜정보(halluciation)가 발생했을 확률을 계산하여, 트리 검색 여부(Pruning)과 방식(BFS, DFS)를 결정하는 알고리즘을 도입한다.
세부 목표 3: 다중 화자 대화 모델을 위한 화자 지식 그래프 및 컨트롤 코드 개발
본 연구에서는 다중 기술 및 다중 기간 대화 문맥으로부터 화자의 개인 정보, 발생한 사건, 소셜 관계, 보유한 지식, 감정 상태 등 관련 정보를 지속적으로 추출 및 저장할 수 있는 다중 화자 지식 그래프를 개발한다. 이어서, 특정 화자를 표현할 수 있는 임베딩 벡터를 컨트롤 코드로 추출할 수 있는 지식 그래프 임베딩 기법을 개발한다. 나아가, 화자의 컨트롤 코드를 조건부 입력으로 활용하여 대용량 언어 모델 기반의 다중 화자 대화 모델을 학습 및 확보한다.
비정형 데이터인 대화 문맥을 정형 데이터인 지식 그래프로 변환하기 위하여, 각 지식 그래프 관계(relation)에 따라 정보를 찾을 수 있는 질의응답 모델을 구현한다. 예를 들어, 사건(Event)에 관련된 정보는 “[화자]에게 무슨일이 발생했니?” 등의 질문 템플릿을 만들어 질문을 던지고, 대화 문맥 상에서 “[화자]: 나 어제 기말고사가 끝났어” 등 해당 답변을 찾아오는 방식이 가능하다. 지식 그래프 임베딩은 TransE, TransR 등 위키피디아 기반의 방법론을 화자 지식 그래프에 적합한 형태로 변형 및 가공하여 개발한다.