대규모 언어 모델(LLMs)과 대규모 비전 모델(LVMs)의 빠른 발전은 획기적인 성능을 달성했지만, 종종 1000억(10^11) 개 이상의 매개변수를 초과하는 방대한 규모로 인해 상당한 배포상의 어려움도 함께 야기하였다. 매개변수 효율적 미세조정(Parameter-Efficient Fine-tuning, PEFT) 방법, 특히 저랭크 적응(Low-Rank Adaptation, LoRA)은 가중치 업데이트를 저랭크 행렬들의 곱으로 근사함으로써 이 문제를 해결하여, 경쟁력 있는 성능을 유지하면서 학습 가능한 매개변수의 수를 극적으로 감소시킨다. 그러나 LoRA의 효과성은 근본적으로 업데이트 행렬의 제한된 유효 랭크에 의해 제약되며, 복잡한 적응 과제를 위해 요구되는 풍부하고 고차원적인 변화를 포착하는 데 한계를 가진다. 본 연구는 이 한계를 극복하기 위해 분할 정복(divide-and-conquer) 전략을 도입한 GroupLoRA를 제안한다. GroupLoRA는 가중치 행렬을 g개 그룹으로 분할하고, 각 그룹에 대해 독립적인 LoRA 모듈을 적용함으로써 이를 달성한다. GroupLoRA는 두 가지 핵심 혁신을 도입한다: (1) 학습 가능한 상호작용 행렬을 통해 그룹 간 정보 교환을 가능하게 하는 Inter-Group Bridge 모듈, 그리고 (2) 최종 출력에서 각 그룹의 기여도를 동적으로 조정하는 Learnable Scaling Factors이다. 이러한 설계는 그룹 특화(group specialization)를 가능하게 하면서도 그룹 간 조율(cross-group coordination)을 유지하여, 제한된 매개변수 예산 내에서 모델의 표현력을 극대화한다. LLM과 VLM에 대한 광범위한 실험 결과, GroupLoRA는 기존 LoRA에 비해 더 적은 매개변수로 일관되게 더 높은 성능을 달성함을 보여준다. 본 접근법은 매개변수 효율적 미세조정에 그룹 단위 처리(group-wise processing) 원리를 성공적으로 적용함으로써, 다양한 과제에 걸친 효율적인 대형 모델 적응을 위한 실용적인 해결책을 제공한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.