기계가 인간 언어를 이해하는 정도를 측정하는 일은 종종 그 추론 능력, 즉 질문에 대한 답을 도출하기 위한 논리적 과정의 평가를 포함한다. 최근의 언어 모델들은 텍스트 기반 과제에서 놀라운 성능을 보여주었으나, 텍스트, 표, 수치와 같은 이질적인 정보를 포함하는 복잡한 추론 문제에서의 효율성은 여전히 불확실하다. 이러한 공백을 메우기 위해 FinQA는 금융 문서를 위한 수치 추론 데이터셋을 도입하는 동시에 프로그램 생성(program generation) 접근법을 제안하였다. 본 연구는 오류의 절반(48%)이 생성되는 연산의 부정확성에서 비롯됨을 확인하였다. 이 문제를 해결하기 위해, 우리는 인공지능 패러다임인 사례 기반 추론(case based reasoning, CBR)을 활용하여 수치 추론 문제를 다루는 새로운 접근법을 제안한다. CBR은 유사한 사례(즉, 유사한 질문과 그에 대응하는 논리 프로그램)를 제공함으로써 문제 해결에 대한 지침을 제공한다. 우리의 모델은 주어진 질문에 대해 관련 사례를 검색한 뒤, 검색된 사례와 문맥 정보를 바탕으로 답을 생성한다. FinQA 데이터셋에 대한 실험을 통해 본 접근법의 경쟁력 있는 성능을 입증하였으며, 또한 사례 저장소를 확장함으로써 FinQA가 취약점을 보였던 복잡한 다단계 프로그램의 해결을 돕는다는 점을 추가로 보여주었다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.