대규모 언어 모델(Large Language Models, LLMs)의 광범위한 사용과 함께, 다양한 사용자의 요구를 충족하는 개인화 모델에 대한 수요가 증가하고 있다. LLM을 사적으로, 네트워크에 의존하지 않게 개인화하기 위해 온디바이스 미세조정(on-device fine-tuning)이 주목받고 있다. 그러나 온디바이스 미세조정은 계산 및 메모리 집약적 연산을 순차적으로 실행하는 경우가 많아 자원을 충분히 활용하지 못함으로써 효율성과 확장성의 문제에 직면한다. 본 서한에서는 메모리 및 계산 집약적 연산을 자원 효율적인 비동기 병렬 실행으로 처리하여 온디바이스 미세조정을 가속하는 프레임워크 ReAx를 제안한다. 메모리 사용량을 증가시키지 않으면서, ReAx는 기준선(baseline)과 비교하여 평균 미세조정 성능과 에너지 소비를 각각 10.42% 및 5.55% 향상시킨다. 긍정적인 부수 효과로, 비동기 매개변수 업데이트는 스트림 간의 약간의 지연으로 인해 그래디언트 잡음(gradient noise)을 유발하며, 이는 미니배치 간의 불리한 업데이트에 대한 정규화(regularizer)로 작용하지만 정확도는 손상시키지 않는다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.