검색 증강 생성(Retrieval Augmented Generation, RAG) 프레임워크는 매개변수 지식(parametric knowledge)과 외부 지식을 결합하여 개방형 도메인 질의응답(open-domain question answering) 과제에서 최신 수준의 성능을 보이는 것을 입증한다. 그러나 RAG 프레임워크는 질의가 비관련 문맥과 함께 제공될 때 성능이 저하되는 문제를 겪는다. 본 연구에서는 기존의 재순위화기(rerankers)가 제공하던 문맥 간 상대적 관련성뿐만 아니라, 주어진 문맥이 주어진 질문에 대한 답변에 유용한지를 분류하는 데 활용할 수 있는 신뢰도(confidence)까지 함께 제공하는 관련성 추정기(relevance estimator, RE)를 도입한 RE-RAG 프레임워크를 제안한다. 우리는 정답 문맥에 대한 어떠한 라벨도 없이 질의-답변 데이터만을 사용하여 RE를 학습하기 위한 약지도 학습(weakly supervised) 방법을 제안한다. 또한 소형 생성기(small generator, sLM)로 학습한 RE는 RE와 함께 미세조정된 sLM의 성능을 향상시킬 뿐만 아니라, 이전에 참조되지 않았던 대형 언어 모델(large language models, LLMs)의 성능도 향상시킬 수 있음을 보인다. 더 나아가, 검색된 문맥을 바탕으로 질문에 답할 수 없음을 사용자에게 알리도록 선택하는 것, 또는 비관련 문맥 대신 LLM의 매개변수 지식(parametric knowledge)에 의존하도록 선택하는 것과 같이, RE가 측정한 신뢰도를 활용하는 새로운 디코딩 전략을 탐구한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.