• 사용자 측면을 고려하면 과업 지향 대화 성능이 향상된다 • 대규모 언어 모델은 사용자 측면에 적응하지만, 소규모 모델은 측면 인식이 부족하다 • 대규모 언어 모델은 증류를 위한 측면 특화 합성 대화를 생성한다 • 대규모에서 소규모 언어 모델로 측면 인식 역량을 증류한다 대규모 언어 모델(LLM)을 활용한 대화 시스템 개발에 관한 연구는 광범위하게 진행되어 왔으며, 주로 LLM의 능력을 활용하여 문맥적으로 미묘한 응답을 생성하는 데 의존해 왔다. 그러나 이러한 접근법은 특히 과업 지향 대화(ToD) 시나리오에서, 대화 시스템이 인간과의 개인화된 상호작용에 참여해야 하는 상황에서는, 소규모 언어 모델(sLM)로의 전이가 용이하지 않다. 본 논문에서는 sLM 기반 ToD 시스템을 위한 LLM 증류(distillation) 접근법을 조사하고, Aspect-Augmented Dialogue Distillation(A2D2) 프레임워크를 제안한다. 이 프레임워크는 과업별 요구사항의 충족을 보장하면서, LLM의 인간 측면 인식 역량을 sLM에 압축하는 것을 목표로 한다. 해당 프레임워크는 LLM 기반 ToD 데이터 생성에 인간의 측면들을 개별적으로 통합하여 LLM-to-sLM 증류 과정의 효과성과 효율성을 향상시키며, 그 결과 다양한 사용자에게 적응 가능하고 과업 성공률이 더 높은 강건한 sLM 기반 ToD 시스템을 구축한다. A2D2를 통해 도출된 sLM 기반 ToD 시스템은, 새로운 과업 설정을 포함하여 다양한 ToD 시나리오에서 경쟁력 있는 성능을 보이며, 복수의 측면으로 특징지어지는 폭넓은 합성 사용자들에 적응함을 보여준다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.