도메인 일반화(Domain generalization, DG)는 하나 또는 여러 개의 소스 도메인을 사용하여 모델을 적응시키고, 보지 못한 타깃 도메인에서의 견고한 성능을 보장하는 것을 목표로 한다. 최근에는 파운데이션 모델의 매개변수 효율적 미세조정(Parameter-Efficient Fine-Tuning, PEFT)이 DG 문제의 맥락에서 유망한 결과를 보인 바 있다. 그럼에도 불구하고 기존 PEFT 방법들은 사전학습 모델의 일반화 가능한 구성요소를 보존하는 것과, 과제에 특화된 특징을 학습하는 것 사이의 균형을 달성하는 데 여전히 어려움을 겪는다. 일반화 가능한 구성요소의 분포에 대한 통찰을 얻기 위해, 우리는 먼저 특이값 분해(singular value decomposition)의 관점에서 사전학습 가중치를 분석한다. 이러한 통찰을 바탕으로, 잔여 부분은 고정한 채 사소한(미세한) 특이값 성분을 선택적으로 조정하는 Singular Value Decomposed Minor Components Adaptation(SoMA)을 제안한다. SoMA는 과제 특화 능력을 효율적으로 습득하면서도 사전학습 모델의 일반화 능력을 효과적으로 보존한다. 또한 도메인-일반화 가능한 블록을 고정하고, 에노일링 가중치 감소(annealing weight decay) 전략을 적용함으로써 일반화성과 판별성(discriminability) 간의 섬세한 상충관계에서 최적의 균형을 이룬다. SoMA는 도메인 일반화 의미론적 분할(domain generalized semantic segmentation)부터 도메인 일반화 객체 탐지(domain generalized object detection)에 이르는 여러 벤치마크에서 최신(state-of-the-art) 성능을 달성한다. 더불어 본 방법은 추가적인 추론 오버헤드나 정규화 손실을 도입하지 않으며, 어떤 백본(backbone)이나 헤드(head)와도 호환 가능하고, 다양한 작업에 쉽게 통합될 수 있도록 설계되어 활용성이 높다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.