도메인 일반화(DG)는 하나 또는 여러 개의 소스 도메인을 사용하여 모델을 적응시키고, 보이지 않는 타깃 도메인에서도 견고한 성능을 확보하기 위한 것을 목표로 한다. 최근 기초 모델의 매개변수 효율적 미세조정(Parameter-Efficient Fine-Tuning, PEFT)은 DG 문제의 맥락에서 유망한 결과를 보였다. 그럼에도 불구하고, 기존의 PEFT 방법들은 사전학습 모델의 일반화 가능한 구성요소를 보존하는 것과 과업 특화 특징을 학습하는 것 사이의 균형을 맞추는 데 여전히 어려움을 겪는다. 일반화 가능한 구성요소의 분포에 대한 통찰을 얻기 위해, 우리는 단순값 분해(singular value decomposition) 관점에서 사전학습 가중치를 분석하는 것으로부터 시작한다. 이러한 통찰에 기반하여, 잔여 부분은 고정한 채 소수(小數)의 단수(singular) 구성요소만을 선택적으로 조율하는 Singular Value Decomposed Minor Components Adaptation (SoMA)을 제안한다. SoMA는 사전학습 모델의 일반화 능력을 효과적으로 유지하면서, 과업 특화 역량을 효율적으로 습득한다. 또한, 도메인 일반화 가능한 블록을 동결하고 어닐링 가중치 감쇠(annealing weight decay) 전략을 활용함으로써, 일반화성과 판별성(discriminability) 사이의 섬세한 절충에서 최적의 균형을 달성한다. SoMA는 도메인 일반화 의미론적 분할에서 도메인 일반화 객체 탐지에 이르기까지 다양한 범위의 여러 벤치마크에서 최신(state-of-the-art) 결과를 달성한다. 더불어, 본 방법은 추가적인 추론 오버헤드나 정규화 손실을 도입하지 않으며, 어떤 백본(backbone)이나 헤드(head)와도 호환 가능하고, 다양한 과업에 손쉽게 통합될 수 있도록 범용성 있게 설계되었다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.