대규모 언어 모델(LLM)의 최근 발전은, 트리 탐색(tree search)과 같은 다단계 추론 방법을 통해 다양한 추론 경로를 탐색해야 하는 여러 복잡한 과제에서 주목할 만한 잠재력을 보여주었다. 그러나 기존 방법들은 대개 계산 효율성의 비효율성과 중복 탐색 문제를 겪는다. 첫째, 과제 난이도의 다양성을 간과하여 쉬운 과제에 대해서도 불필요하게 지나치게 광범위한 탐색을 수행하는 경우가 많다. 둘째, 추론 경로의 의미(semantic)를 무시함으로써 의미적으로 동일한 경로에 대한 중복 탐색이 발생한다. 이러한 한계를 해결하기 위해, 우리는 계산적으로 효율적인 방법인 의미 기반 탐색과 적응적 게이팅(Semantic Exploration with Adaptive Gating, SEAG)을 제안한다. SEAG는 선행의 간단한 추론 방법으로부터 얻어진 답변의 신뢰도(confidence level)에 따라 트리 탐색을 수행할지 여부를 동적으로 결정하는 적응적 게이팅 메커니즘을 사용한다. 또한, 트리 기반 탐색은 의미적으로 동일한 추론 단계를 통합하여, 중복 탐색을 줄이면서도 정확도는 유지하거나 오히려 향상시킨다. 광범위한 실험 결과, SEAG는 GSM8K와 ARC를 포함한 복잡한 추론 벤치마크에서, Llama2, Llama3, Mistral과 같은 다양한 언어 모델을 대상으로 기존 트리 탐색 기반 방법과 비교했을 때 평균적으로 정확도를 4.3% 유의하게 개선하면서도 계산 비용은 31%만을 요구함을 보여주었다. 코드는 https://github.com/ml-postech/SEAGsemantic-exploration-with-adaptive-gating 에서 제공된다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.