Knowledge-grounded Multi-modal Dialogue and Dialogue State Tracking
연구 내용
도메인 추적과 개체 추출을 포함한 지식 기반 대화 상태 추적 모델을 설계하고, 그래프 구조를 통해 담화 정보를 정교화하여 멀티모달 태스크 지향 대화 성능을 개선하는 연구
본 분야는 대화 시스템이 사용자 발화의 맥락을 안정적으로 추적하고 도메인 정보를 활용해 응답 품질을 높이도록 하는 데 초점을 둡니다. 연구에서는 대화 상태 추적과 도메인 추적, 개체 추출을 결합하는 지식 기반 대화 모델을 구축하고, 비문법적 담화 그래프와 의존/구문 정보를 활용해 대화 표현을 강화합니다. 또한 멀티모달 태스크 지향 대화용 사전학습 과제를 설계하여 언어 이해·생성 성능을 조정하고, 다자 대화 환경에서 이종 대화 그래프를 이용해 발화 대상자 관계를 모델링하는 방향으로 차별성을 확보합니다.
관련 연구 성과
관련 논문
3편
관련 특허
1건
관련 프로젝트
2건
연구 흐름
초기에는 대화 상태 추적과 도메인 추적, 개체 추출을 연계한 지식 기반 대화 모델링을 통해 대화 맥락을 구조화하는 연구를 수행했습니다. 이후 2023년에는 비구문적 담화 그래프와 구문 기반 단서를 결합해 대화 상태 추적 모델을 보강하는 방향으로 확장했습니다. 동시에 태스크 지향 대화에서 대화 전용 사전학습 과제와 보조 인코더 학습을 결합하는 멀티모달 프리트레이닝 기법을 적용하여 도메인 적응성과 성능을 개선했습니다. 최근에는 이종 대화 그래프 기반 다자대화 시스템과 시각 질의응답 연동까지 고려한 구현 단계를 병행하고 있습니다.
활용 가능성
활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.
관련 논문
구분
제목
Knowledge-grounded dialogue modelling with dialogue-state tracking, domain tracking, and entity extraction
Enriching the dialogue state tracking model with a asyntactic discourse graph
Two-Step Masked Language Model for Domain-Adapting Multi-Modal Task-Oriented Dialogue Systems
관련 특허
구분
제목
시각적 질의응답 장치 및 방법
관련 프로젝트
구분
제목
이종 대화 그래프를 이용한 다자대화 시스템
산업융합형 멀티모달 생성 인공지능 인재양성