자율주행과 같은 특수 목적 응용을 위한 대규모 언어 모델(LLM)의 학습은 데이터 프라이버시 측면에서 중대한 도전 과제를 겪는다. 연합 학습(Federated Learning, FL)은 개인정보를 보존하면서 로컬 데이터의 사용을 가능하게 함으로써 이러한 문제에 대한 해결책을 제공한다. 본 논문에서는 자율주행 차량에서 LLM 학습의 효율성을 향상시키기 위한 새로운 전략인 기울기 우선순위 기반 연합 학습(Gradient Priority-based Federated Learning, FedGPL)을 제안한다. FedGPL은 서버에서 기울기를 사전 계산하여 중요한 모델 계층을 식별하고, 차량이 로컬 데이터를 활용해 해당 계층만을 선택적으로 업데이트할 수 있도록 한다. 이러한 선택적 업데이트는 계산 부담을 감소시키고 기울기 데이터 전송을 최소화한다. 실험 결과, FedGPL은 기존 방법과 비교 가능한 정확도를 달성하면서도 계산 및 통신 비용을 유의미하게 절감하는 것으로 나타나, 자율주행을 위한 고도화된 언어 모델 학습을 위한 유망한 접근법임을 보여준다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.