적응형 게이팅과 잠재 의미 클러스터링을 통한 효율적·강건한 LLM 추론/적응

Efficient and Robust LLM Inference via Adaptive Gating and Latent Semantic Clustering

연구 내용

추론 경로의 의미 중복을 줄이도록 적응형 게이팅과 잠재 의미 클러스터링을 도입하고, 분포 이동 및 악의적 입력에 대한 강건성을 강화하는 연구

다단계 추론에서 불필요한 탐색과 의미 중복은 계산 비용을 증가시키고 품질을 저하시킬 수 있습니다. 본 연구는 먼저 이전 간단 추론의 답변 신뢰도에 따라 tree search 수행 여부를 동적으로 결정하는 adaptive gating을 적용하여 탐색 자체를 선별합니다. 다음으로 생성 산출물 간 의미가 같은 경우를 묶어 분포를 추정하는 latent semantic clustering을 통해 중복 탐색을 억제하고, 외부 모델 의존도를 낮추는 방식으로 경량화합니다. 또한 test-time adaptation에서 발생할 수 있는 악의적 입력 취약성을 완화하는 방법과, 이질적 클라이언트 환경에서 federated low-rank adaptation을 안정화하는 기법을 함께 다룹니다.

관련 프로젝트

5건

연구 흐름

초기에는 분포 이동 상황에서 모델 성능이 저하되는 문제를 다루기 위해 test-time adaptation의 강건성 관점으로 접근하였습니다. 이후에는 복잡 추론에서 계산 비효율과 의미 중복이 누적되는 현상을 완화하기 위해 adaptive gating 기반 효율 탐색 연구로 확장하였습니다. 동시에 생성 출력의 잠재 상태를 활용한 의미 클러스터링으로 test-time scaling의 비용을 낮추는 방향을 병행하였습니다. 최근에는 이질적 데이터 분포를 갖는 연합 환경에서 저랭크 적응을 안정화하는 연구와, 실제 서비스 입력 변화에 대한 견고한 추론 기반을 함께 구성하는 흐름으로 전개되었습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

의미 중복 억제 추론 엔진
불확실성 기반 탐색 게이팅
테스트 타임 견고성 강화
악의적 입력 방어
연합 학습 기반 LoRA 적응
이질적 클라이언트 최적화
자원 제한 환경의 추론 효율화
로봇 서비스 대화 추론
인지·접근성 보조 인터페이스
분포 이동 대응 모델 운영