우리는 대규모 언어 모델(LLMs)을 이용한 슬롯 필링(slot filling)에서 발생하는 어려움을 해결하기 위해 분산된 프롬프트(diversified prompting) 전략을 제안한다. 이때 회상(recall)은 예측 누락(prediction omissions)으로 인해 저하되는 경우가 많고, 중복 또는 과도한 슬롯 할당으로 인해 정밀도(precision)도 감소한다. 우리의 전략은 회상을 향상시키기 위해 후보 슬롯을 더 작은 그룹으로 분할하는 하위 프롬프트(sub-prompt)와, 동일한 발화(utterance)에 대해 다양한 구조적 프롬프트 변형을 적용하는 멀티 뷰(multi-view) 프롬프트를 결합한다. 최종 슬롯 예측은 임계값 기반 다수결(threshold-based majority voting)로 선택되어 회상과 정밀도의 균형을 효과적으로 조정한다. SNIPS, MASSIVE, MultiWoz의 세 가지 벤치마크 데이터셋과 여섯 가지 LLM(bloomz, falcon, llama2, llama3, qwen2, gemma)에 대해 실험한 결과, 기준 모델(baseline) 및 모든 단일 프롬프트 방법과 비교하여 일관된 성능 향상이 나타났다. 예를 들어 SNIPS에서 llama3-8B는 회상을 78.4에서 90.5로, F1을 72.6에서 82.0으로 향상시켰다. 또한 다양한 모델 크기에 걸쳐 실험을 수행하여 본 방법론의 일반 적용 가능성을 확인하였다. 이러한 결과는 제안된 분산된 프롬프트 전략이 회상, 정밀도, F1 간의 균형을 효과적으로 회복하며, LLM 기반 슬롯 필링을 향상시키기 위한 확장 가능한 방법론을 제공함을 보여준다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.