최근 대규모 언어 모델(LLM)은 트리 탐색과 같은 다단계 추론 방법을 활용하여 다양한 추론 경로를 탐색해야 하는 여러 복잡한 과제에서 주목할 만한 잠재력을 보여주고 있다. 그러나 기존 방법은 대체로 계산적 비효율성과 중복의 문제를 겪는다. 첫째, 과제의 난이도 다양성을 간과하여 쉬운 과제에서도 불필요하게 과도한 탐색을 수행한다. 둘째, 추론 경로의 의미론을 무시하여 의미적으로 동일한 경로를 중복해서 탐색하게 된다. 이러한 한계를 해결하기 위해, 우리는 계산 효율적인 방법인 의미론적 탐색과 적응적 게이팅(Semantic Exploration with Adaptive Gating, SEAG)을 제안한다. SEAG는 앞선 단순 추론 방법의 답변에 대한 신뢰 수준에 기반하여 트리 탐색을 수행할지 여부를 동적으로 결정하는 적응적 게이팅 메커니즘을 사용한다. 또한 트리 기반 탐색은 의미론적으로 동일한 추론 단계를 통합함으로써 중복 탐색을 줄이면서도 정확도를 유지하거나 오히려 향상시킨다. 광범위한 실험 결과, SEAG는 GSM8K 및 ARC를 포함한 복잡 추론 벤치마크에서 Llama2, Llama3, Mistral과 같은 다양한 언어 모델을 사용했을 때, 기존 트리 탐색 기반 방법 대비 계산 비용의 31%만으로도 평균 4.3%의 정확도 향상을 유의미하게 달성함을 보여준다. 우리의 코드는 https://github.com/ml-postech/SEAG-semantic-exploration-with-adaptive-gating 에서 제공된다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.