본 논문에서는 다중 인코더 트랜스포머를 사용하는 한국어 추상적 텍스트 요약(abstractive text summarization) 접근법을 제안한다. 최근 자연어 처리(NLP) 분야의 많은 과제에서 전이 학습을 위한 사전학습 언어 모델(PLMs: pre-trained language models)의 활용이 괄목할 만한 성능을 보였다. 특히 BERT(Bidirectional Encoder Representations from Transformers)와 같은 트랜스포머 기반 모델은 사전학습에 사용되며 하위 과제에 적용되어, 추상적 텍스트 요약을 포함하여 최신(state-of-the-art) 성능을 나타낸다. 그러나 기존의 텍스트 요약 모델은 보통 각 모델 아키텍처마다 하나의 사전학습 모델만 사용하는데, 이로 인해 한 번에 하나의 PLM을 선택해야 한다. 한국어 추상적 텍스트 요약에 적용 가능한 PLM으로는 Multilingual BERT, KoBERT, HanBERT, KorBERT 등 서로 다른 장점을 제공하는 공개된 BERT 기반 사전학습 한국어 모델들이 존재한다. 본 연구에서는 이러한 PLM들을 동시에 활용할 수 있다면 더 나은 성능을 얻을 수 있을 것이라 가정한다. 이에 따라 여러 사전학습 모델을 활용할 수 있는 다중 인코더를 사용하여 추상적 요약을 생성하는 모델을 제안한다. 본 방법은 한국어 추상적 요약을 위한 3개의 벤치마크 데이터셋인 Law(AI-Hub), News(AI-Hub), News(NIKL) 데이터셋을 사용하여 평가한다. 실험 결과, 제안한 다중 인코더 모델 변형들이 단일 인코더 모델보다 우수함을 보여준다. 또한 다중 인코더 방법으로 여러 PLM을 활용할 때 최적의 입력 조합을 결정하여 경험적으로 가장 우수한 요약 모델을 도출한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.