우리는 시간 추론을 위한 대규모 벤치마크인 MegaTempQA를 소개한다. MegaTempQA는 100만 개의 문답 쌍으로 구성되며, 대규모 언어 모델(LLMs)이 시간적 환각(temporal hallucinations)을 회피하는 데 도움을 주기 위해 설계되었다. 현재의 LLM은 흔히 부정확한 데이터를 생성하고 사건의 순서를 혼동하며 시간적 세부를 환각하여, 그 신뢰성이 저하된다. MegaTempQA는 정확한 시간 추론을 위한 학습 및 평가 자원을 제공함으로써 이러한 문제를 해결한다. 위키피디아(Wikipedia)와 위키데이터(Wikidata)의 데이터를 사용하여, 사건, 개체, 타임라인, 그리고 복잡한 시간적 관계를 아우르는 16개 범주에 걸친 시간 질의를 조직하는 체계적 프레임워크를 구축함으로써, TempQuestions 및 NewsQA와 같은 기존 벤치마크를 규모와 범위 모두에서 능가한다. 이 데이터셋은 난이도 수준, 시간적 범위 및 복잡도 점수를 포함하여 다중-과립(granular) 시간 추론과 멀티홉 추론(multi-hop inference)을 지원하며, 모델이 사실 기반의 시간 데이터와 조작된 시간 데이터를 구별하도록 돕는다. 우리의 평가는 MegaTempQA가 LLM의 시간적 정확성을 향상시키고 환각을 감소시킴을 보여주며, 시간적 근거 기반 언어 모델(temporal grounded language models)을 진단하기 위한 벤치마크로서의 역할도 수행한다. 코드는 공개되어 있으며 샘플 데이터도 제공된다1.
*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.