대부분의 기존 검색 증강 언어 모델(LM)은 검색된 문서 집합 내에서 질의 관련성과 비관련성의 순진한 이분법을 가정한다. 본 연구는 “관련” 문서조차도 오도하거나 부정확한 정보를 포함할 수 있어, 검색된 문서들 간에 충돌이 발생하고 그 결과 잡음으로 인해 모델의 의사결정에 부정적인 영향을 미치는 보다 어려운 시나리오를 조사한다. 우리는 기존 LM이 미세조정(fine-tuning) 및 상황 내(in-context) 소수 예시(few-shot) 학습 시나리오 모두에서 상충하는 정보의 존재에 매우 취약함을 관찰한다. 검색된 문서들 간의 지식 충돌을 처리하기 위해 판별기(discriminator)를 명시적으로 미세조정하거나 GPT-3.5에 프롬프트하여 그 판별 능력을 이끌어내는 방식의 접근법을 제안한다. 개방 도메인 QA에 대한 우리의 실험 결과는 이러한 접근법이 모델의 강건성을 유의미하게 향상시킴을 보여준다. 또한, 미세조정된 판별기의 결정을 상황 내 학습 과정에 통합하는 것에 관한 우리의 결과를 제시하며, 서로 상이한 두 가지 학습 체계의 이점을 활용하는 방식을 제안한다. 더불어, 이러한 방향의 연구를 추가로 촉진하기 위해 충돌 유발 정보를 포함하는 기계 생성 데이터셋 MACNOISE를 제공한다 1.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.