Calibration for Unified and Selective Open-domain QA & Monotonic Aggregation
연구 내용
문서 코퍼스와 QA-페어의 상보성을 캘리브레이션으로 결합하고, 소스 추가가 정확도를 저하시키지 않도록 집계를 보장하는 오픈도메인 QA 연구
오픈도메인 질문응답은 방대한 지식 원천에서 답만을 찾아야 하며, 서로 다른 소스 유형의 강점이 상황에 따라 달라집니다. 본 연구는 QA-페어 기반 정밀성, 문서 코퍼스의 일반화 성향을 결합하되, 단순 파이프라이닝이나 통합만으로는 이득이 제한되는 문제를 다룹니다. 특히 예측 답의 신뢰도를 캘리브레이션하여 문서 또는 QA-페어 중 적절한 소스를 선택하는 통합 전략을 제시합니다. 또한 소스 추가가 정확도를 악화시키는 비단조성을 분석하고, 전문가 리트리버/리더와 별도의 judge 모델로 최종 답을 선택해 단조성 특성을 보존하는 집계 프레임워크를 구성합니다. 음성인식 오류 등 잡음 조건에서도 안정성을 평가합니다.
관련 연구 성과
관련 논문
0편
관련 특허
0건
관련 프로젝트
0건
연구 흐름
초기에는 서로 다른 지식 소스를 동시에 활용하려는 접근이 왜 일관된 개선으로 이어지지 않는지 현상을 분석하고, 이를 신뢰도 추정의 관점에서 재해석했습니다. 이후 캘리브레이션을 통해 문서 기반 답변과 QA-페어 기반 답변을 언제 선택할지 결정하는 통합 방법을 구축했습니다. 다음 단계에서는 소스 추가 시 정확도가 하락하는 비단조성의 원인을 규명하고, specialist 구성과 judge 선택으로 단조성을 만족시키는 프레임워크로 확장했습니다. 최근에는 다중 소스 상황뿐 아니라 잡음 환경에서도 특성이 유지되는지 검증하며 견고성 관점을 강화하고 있습니다.
활용 가능성
활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.