단계별 추론은 복잡한 과제를 해결하기 위한 대규모 언어 모델(LLM)의 표준 접근 방식이 되었다. 이와 같은 패러다임은 효과가 있음이 입증되었으나, 근본적인 질문을 제기한다. 즉, LLM의 추론이 지식에 근거하여 정확하게 수행되고 있음을 어떻게 검증할 수 있는가이다. 본 연구는 이러한 질문에 답하기 위해 중간 추론의 지식 근거성을 체계적으로 평가하는 새로운 평가 도구 모음을 제안한다. 우리의 프레임워크는 세 가지 핵심 구성 요소로 이루어진다. (1) 추론에 필수적인 원자적 지식의 대규모 저장소인 주요 지식 수집(Principal Knowledge Collection). 이 수집을 기반으로, 선행 지식을 추론 과정에서 얼마나 잘 회상하고 적용하는지를 측정하기 위한 (2) 지식 근거 평가 지표를 제안한다. 이러한 지표는 (3) 평가자 LLM(evaluator LLM)에 의해 계산되는데, 이는 비용 효율적이고 신뢰할 수 있는 지표 계산을 위해 최적화된 경량 모델이다. 본 평가 도구 모음은 누락되었거나 잘못 적용된 지식 요소를 식별하는 데 있어 현저한 효과를 보였으며, LLM의 근본적인 추론 결함을 규명하는 데 결정적인 통찰을 제공한다. 평가를 넘어, 이러한 지표가 선호도 최적화(preference optimization)에 통합될 수 있음을 시연함으로써, 지식 근거 평가의 추가적 응용 가능성을 보여준다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.