모델 파라미터와 연산의 수치 정밀도를 낮추는 것은 검색 시스템의 효율을 개선하기 위해 널리 채택되고 있다. 그러나 저정밀도 환경에서 질의와 문서 간 관련성 점수를 계산할 때, 우리는 감소된 분해능으로 인해 인위적인 동점(spurious ties)이 발생하는 것을 관찰한다. 이는 동점의 해소(tie resolution)에 따라 결과의 변동성이 크게 달라지게 하여 평가의 신뢰성을 떨어뜨린다. 이를 해결하기 위해 점수 변동을 줄이도록 설계된 보다 견고한 검색 평가 프로토콜을 제안한다. 이 프로토콜은 (1) 최종 점수 산정 단계를 더 높은 정밀도로 상향(upcast)하여 최소한의 계산 비용으로 동점 후보를 해소하는 고정밀도 점수화(High-Precision Scoring, HPS)와, (2) 동점 후보의 순서 불확실성을 정량화하기 위해 기대 점수, 범위, 편향을 보고하는 동점 인지 검색 지표(Tie-aware Retrieval Metrics, TRM)로 구성된다. 우리의 실험에서는 두 개의 검색 데이터셋에 대해 세 가지 점수 함수로 여러 모델을 테스트하여, HPS가 동점으로 인한 불안정성을 현저히 감소시키고 TRM이 기대되는 메트릭 값을 정확히 복원함을 보여준다. 이 두 요소의 결합은 저정밀도 검색을 위한 보다 일관되고 신뢰할 수 있는 평가 시스템을 가능하게 한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.