최근 PEGASUS 및 BART와 같은 사전학습된 시퀀스-투-시퀀스 모델이 추상적 요약에서 최첨단 성능을 보이고 있다. 이러한 모델에서 파인튜닝 동안 인코더는 문장을 잠재 공간의 문맥 벡터로 변환하고, 디코더는 문맥 벡터에 근거하여 요약 생성 과제를 학습한다. 본 접근법에서는 중요한(context salient) 문맥 벡터와 중요하지 않은(context non-salient) 문맥 벡터의 두 군집을 고려하며, 이를 통해 디코더가 요약 생성 시 중요한 문맥 벡터에 더 집중(attend)할 수 있도록 한다. 이를 위해 인코더와 디코더 사이에 새로운 군집 생성기 레이어(cluster generator layer)를 제안하는데, 이 레이어는 먼저 중요한 및 중요하지 않은 벡터의 두 군집을 생성한 뒤, 잠재 공간에서 군집들이 서로 분리되도록 정규화(normalizes)하고 군집의 규모를 축소(shrinks)한다. 실험 결과, 제안된 모델은 이러한 구별되는 군집 패턴을 학습함으로써 CNN/DailyMail 및 XSUM 데이터셋에서 BART와 PEGASUS와 같은 최첨단 모델보다 성능이 우수했으며, ROUGE는 최대 2~30%, BERTScore는 0.1~0.8%까지 향상되었다.
*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.