추가 미세조정 없이 bi-인코더가 분류 과제에서 미세조정된 BERT 모델과 견줄 만한 성능을 달성할 수 있을까? 이 질문에 답하기 위해, 우리는 미세조정의 필요 없이 bi-인코더를 활용한 텍스트 분류를 위한 단순하면서도 효과적인 접근법을 제시한다. 우리의 핵심 관찰은 최신 bi-인코더들이 서로 다른 데이터셋에 대해 상이한 성능을 보인다는 점이다. 따라서 제안하는 접근법은 여러 bi-인코더를 준비하고, 새로운 데이터셋이 주어졌을 때 데이터셋에 가장 적절한 것들을 선택하여 앙상블하는 방식으로 구성된다. 실험 결과, AG News, SMS Spam Collection, Stanford Sentiment Treebank v2, TREC Question Classification 데이터셋의 하위(subsets)에서의 텍스트 분류 과제에서 제안한 접근법은 미세조정된 BERT-Base, DistilBERT-Base, ALBERT-Base, RoBERTa-Base와 견줄 만한 성능을 달성함을 보였다. 예를 들어, 널리 알려진 bi-인코더 all-MiniLM-L12-v2를 추가 최적화 없이 사용했을 때 평균 정확도 77.84%를 기록하였다. 이는 제안된 적응적 선택 및 앙상블 기법을 적용함으로써 89.49%로 향상되었으며, RoBERTa-Base 모델과 결합한 경우 91.96%까지 추가로 상승하였다. 우리는 이 접근법이 미세조정 없이 사전학습 모델을 소규모 데이터셋에 적용하는 K-12 AI 프로그래밍 교육과 같은 분야에서 특히 유용할 것으로 기대한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.