검색 증강 생성(Retrieval Augmented Generation, RAG) 프레임워크는 매개변수 지식과 외부 지식을 결합하여 오픈 도메인 질의응답(opendomain question answering) 과제에서 최첨단 성능을 보이는 방식을 활용한다. 그러나 RAG 프레임워크는 질의에 무관련 컨텍스트가 함께 제공될 때 성능 저하가 발생한다. 본 연구에서는 기존 리랭커(reranker)들이 제공하던 컨텍스트 간 상대적 관련성뿐 아니라, 주어진 컨텍스트가 해당 질문에 답하는 데 유용한지 분류하는 데 활용할 수 있는 신뢰도(confidence)를 제공하는 관련성 추정기(relevance estimator, RE)를 도입한 RE-RAG 프레임워크를 제안한다. 우리는 정답 컨텍스트에 대한 레이블 없이도 질의-답변(question-answer) 데이터만을 단순히 활용하여 RE를 훈련하기 위한 약지도(weakly supervised) 방법을 제안한다. 소형 생성기(small language model; sLM)로 학습된 RE는 RE와 함께 미세조정된 sLM의 성능을 향상시킬 뿐만 아니라, 이전에 참조되지 않았던 대규모 언어 모델(LLMs)의 성능도 향상시킬 수 있음을 보인다. 또한 우리는 RE가 측정한 신뢰도를 활용하는 새로운 디코딩 전략을 조사한다. 예를 들어, 검색된 컨텍스트를 바탕으로 해당 질문에 답하는 것이 "불가능(unanswerable)"하다고 사용자에게 알리도록 선택하거나, 무관련 컨텍스트에 의존하기보다는 LLM의 매개변수 지식에 의존하도록 선택하는 방법 등이 있다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.