희소화·가지치기·프롬프트 튜닝을 통한 대규모 모델 효율 최적화 연구
Efficient Optimization for Large Models via Pruning and Prompt Tuning
연구 내용
대규모 언어모델의 가지치기와 희소화, 제로차수 프롬프트 튜닝, 백프로파게이션 없는 연합학습을 통해 제한된 자원에서 성능을 유지하는 연구
대규모 언어모델의 가지치기를 분할-정복 방식으로 수행할 때 발생하는 복원오차와 일반화 저하의 원인을 분석하고, 복원오차 최소화의 이점과 함정을 함께 다루는 연구를 수행합니다. 또한 SAFE 계열 방법으로 희소성과 평탄성을 동시에 만족하는 서브네트워크를 탐색하여 압축 성능을 복구하는 접근을 적용합니다. 블랙박스 비전-언어 모델에서는 저차원 프롬프트 재파라미터화와 내재 차원 절단으로 제로차수 최적화를 안정화해 질의 효율을 개선합니다. 연합학습에서는 Forward Forward 기반 국소 업데이트로 중간 활성 저장 부담을 줄이는 절차를 설계합니다.
관련 연구 성과
관련 논문
5편
관련 특허
0건
관련 프로젝트
4건
연구 흐름
초기 연구에서는 데이터 병렬성과 희소화가 학습 수렴과 최종 성능에 미치는 영향을 관찰하고, 효율적 학습을 위한 최적화 관점의 제약을 정리하는 데 집중했습니다. 이후 2023~2024년에는 LLM 가지치기에서 복원오차 최소화가 일반화로 연결되는 조건과, 보정 데이터에 대한 과적합 위험을 함께 검토했습니다. 2025년에는 희소성과 평탄성을 동시에 만족하는 가지치기 방법을 확장해 압축 후 성능 회복의 구조를 강화했습니다. 동시에 블랙박스 환경의 프롬프트 튜닝과 연합학습의 파라미터 갱신 절차를 효율화하는 방향으로 연구 범위를 확장했습니다.
활용 가능성
활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.
- 대규모 언어모델 경량화
- 메모리 제약 온디바이스 추론
- 희소 네트워크 서빙 최적화
- 블랙박스 프롬프트 질의 효율화
- 연합학습 통신·계산 절감
- 복원오차 기반 압축 성능 예측
- 퍼플렉서티 저감 압축 전략
- 잡음 환경 견고한 모델 압축
- 저비용 실서비스 재학습 파이프라인
- 최신성 반영 생성형 모델 활용
관련 논문
구분
제목
Rethinking Pruning Large Language Models: Benefits and Pitfalls of Reconstruction Error Minimization
Rethinking Pruning Large Language Models: Benefits and Pitfalls of Reconstruction Error Minimization
SAFE: Finding Sparse and Flat Minima to Improve Pruning
FedFwd: Federated Learning without Backpropagation
ZIP: An Efficient Zeroth-order Prompt Tuning for Black-box Vision-Language Models
관련 프로젝트
구분
제목
생성형 언어모델의 지속 가능성과 시간의 흐름에 따른 최신성 반영을 위한 학습 및 활용 기술 개발
효율적인 대규모 기계학습을 위한 고급 최적화 이론과 알고리즘
효율적인 대규모 기계학습을 위한 고급 최적화 이론과 알고리즘
효율적인 대규모 기계학습을 위한 고급 최적화 이론과 알고리즘