다중 인코더 기반 한국어 생성요약 및 LLM 슬롯필링

Multi-Encoder Korean Abstractive Summarization and LLM Slot Filling

연구 내용

다중 사전학습 언어모델을 활용한 한국어 생성요약과 분산 프롬프팅을 통한 LLM 슬롯필링 성능 균형을 개선하는 연구

본 연구는 Korean abstractive summarization과 LLM 기반 slot filling에서 공통적으로 나타나는 문장 생성 및 슬롯 예측 품질 문제를 다룹니다. 먼저 서로 다른 Korean pre-trained language model을 여러 인코더에 연결하는 multi-encoder Transformer 구조를 통해 입력 표현을 결합하고 요약 생성 성능을 높입니다. 또한 LLM의 recall 저하와 precision 저하를 동시에 다루기 위해 sub-prompt와 multi-view prompt를 조합하고, threshold 기반 majority voting으로 최종 슬롯을 선택합니다. 이를 통해 한국어 생성 태스크와 정보추출 태스크에서 모델 입력 구성 및 프롬프팅 설계의 영향이 정량화 가능한 방식으로 반영되도록 합니다.

관련 프로젝트

3건

연구 흐름

초기에는 Korean abstractive summarization에서 다중 pre-trained language model을 단일 인코더에 고정하지 않고 multi-encoder로 결합하는 접근을 정리하고, 한국어 벤치마크 데이터셋에서 단일 인코더 대비 성능을 비교했습니다. 이후 전이학습 기반 한국어 자연어처리 딥러닝 모델 연구를 바탕으로, LLM의 입력 설계가 slot filling의 recall–precision 균형에 미치는 영향을 확인하는 방향으로 확장했습니다. 최근에는 diversified prompting 전략을 적용해 omission과 중복 슬롯 할당 문제를 완화하고, 다양한 LLM 크기와 설정에서 재현성을 점검하는 연구를 수행했습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

한국어 생성요약 자동화
대화형 요약 보조도구
LLM 기반 슬롯정보 추출
콜센터 질의응답 전처리
도메인 맞춤 프롬프트 템플릿
정보추출 데이터 품질 향상
요약·추출 통합 파이프라인
한국어 벤치마크 평가 체계
모델 앙상블용 입력 설계
Zero-shot 및 Few-shot 적용