단일 입력에 대해 여러 개 또는 순차적인 출력을 생성하고 분석하는 테스트 시점 연산(Scaling test-time computation)은 불확실성 정량화 및 다단계 추론의 발전을 통해 입증된 바와 같이 대규모 언어 모델(LLM)의 신뢰성과 품질을 향상시키는 유망한 전략으로 자리 잡았다. 핵심적으로 공유되는 구성 요소는 의미 군집화(semantic clustering)로, 형식은 다르지만 동일한 의미를 전달하는 출력들을 묶는다. 의미 군집화는 출력 의미(semantics)에 대한 분포를 추정할 수 있게 하며, 추론 경로를 반복적으로 탐색하는 것을 방지하는 데 도움이 된다. 그러나 기존 접근법은 대체로 외부 모델에 의존하여 상당한 계산 오버헤드를 유발하며, 맥락을 인지하는 의미를 포착하는 데에도 종종 실패한다. 본 연구는 생성기 LLM의 내부 은닉 상태(hidden states)를 군집화에 활용함으로써 외부 모델의 필요성을 제거하는, 경량이면서도 맥락에 민감한 방법인 잠재 의미 군집화(Latent Semantic Clustering, LSC)를 제안한다. 다양한 LLM과 데이터셋에 걸친 광범위한 실험 결과, LSC는 기존 방법의 성능을 유지하거나 능가하면서 테스트 시점 연산 확장의 계산 효율을 유의미하게 향상시킴을 확인하였다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.