적응형 bi-encoder 모델 선택과 앙상블 기반 텍스트 분류 및 키워드 생성

Adaptive Bi-Encoder Selection and Ensemble for Text Classification and Keyword Generation

연구 내용

추가 파인튜닝 없이 bi-encoder 성능을 데이터셋 특성에 맞게 선택·앙상블하여 분류 정확도를 높이고 키워드 생성에 적용하는 연구

본 연구는 bi-encoder를 중심으로 텍스트 분류 성능을 데이터셋 환경에 맞게 조정하는 전략을 다룹니다. 기존에는 특정 모델을 고정해 사용하지만, 동일한 bi-encoder라도 데이터셋에 따라 성능 편차가 발생한다는 관찰을 바탕으로, 여러 bi-encoder 후보를 준비하고 새로운 데이터셋이 주어졌을 때 적합한 모델을 선택하거나 앙상블하는 방법을 구성합니다. 또한 전이학습 기반 한국어 자연어처리 연구를 연결하여, 모델 선택과 표현 품질이 downstream 태스크에 미치는 영향을 함께 평가합니다. 마지막으로 거대 언어모델의 zero-shot 및 few-shot 기반 키워드 생성 과제를 통해 입력–출력 설계가 태스크별로 어떻게 성능을 결정하는지 검증합니다.

관련 프로젝트

3건

연구 흐름

초기 연구는 전이학습을 활용한 범용 한국어 자연어처리 딥러닝 모델을 수립하는 흐름으로 진행되었습니다. 이후 text classification에서 fine-tuning이 제한된 조건에서도 bi-encoder만으로 성능을 끌어올릴 수 있는지 확인하고, 데이터셋별 성능 차이를 근거로 adaptive selection과 ensemble 절차를 제안했습니다. 최근에는 거대 언어 모델의 창발적 능력을 활용한 zero-shot 및 few-shot 기반 키워드 생성 연구를 병행하여, 분류 태스크에서의 모델 적응과 생성 태스크에서의 프롬프트 설계가 같은 관점으로 연결되는지 분석하고 있습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

소량 라벨 텍스트 분류
fine-tuning 비용 절감 파이프라인
데이터셋별 자동 모델 선택
라벨링 보조 키워드 생성
대화 로그 주제 분류
FAQ 자동 태깅
콘텐츠 카테고리 추천
수업용 AI 분류 과제
LLM 기반 태스크 입력 설계
전이학습 기반 한국어 모델 운영