저랭크 분해 적응(LoRA, SVD) 기반 일반화·이상탐지 연구

Parameter-Efficient Adaptation with Low-Rank Decomposition for Generalization and Anomaly Detection

연구 내용

사전학습 가중치에서 일반화에 기여하는 성분을 보존하고, 저랭크 분해와 LoRA를 통해 과제 특화 성분만 선택적으로 조정하여 도메인 일반화와 이상탐지 성능을 향상하는 연구

본 연구는 도메인 일반화와 제로샷 이상탐지에서 파운데이션 모델의 적응 효율을 높이는 것을 목표로 합니다. 먼저 사전학습 가중치를 특이값 분해 관점에서 분석해 일반화에 기여하는 성분을 유지하고, 미만의 특이값 성분만 선별적으로 튜닝하는 Singular Value Decomposed Minor Components Adaptation을 제안합니다. 또한 CLIP 기반 제로샷 이상탐지에서 시각 문맥을 텍스트 표현에 효율적으로 주입하기 위해 LoRA를 시각 인코더에 통합하고, 핵심 특이 성분만 조정하도록 SVD 기반 선택 튜닝을 구성합니다. 더 나아가 LoRA의 유효 랭크 제약을 완화하기 위해 그룹 단위 분해와 인터그룹 브리지를 포함한 GroupLoRA를 설계하여 그룹 간 협조를 유지하면서도 적응 표현력을 확대합니다. 이러한 접근은 입력별 추론 오버헤드와 구조 호환성을 유지하는 방향으로 정리됩니다.

관련 프로젝트

2건

연구 흐름

2022~2025년 과제 기반으로 새로운 데이터에 대한 일반화 능력을 높이는 학습 방법을 중심에 두고, 이후 가중치 분해를 통한 일반화 성분 보존 전략으로 구체화했습니다. 2025년에는 도메인 일반화 문제에서 사전학습 가중치의 특이값 분포를 분석하고, Residual은 고정한 채 minor singular components만 선택 튜닝하는 SoMA 흐름으로 확장했습니다. 같은 해 제로샷 이상탐지에서는 CLIP에 LoRA를 결합하되 SVD로 중요한 성분만 조정하고, 시각 문맥을 텍스트 정렬에 반영하는 AULoRA로 연구를 이어갔습니다. 2026년에는 LoRA 유효 랭크 제약을 해결하기 위해 그룹 단위 분해와 브리지를 포함한 GroupLoRA를 제안하며, 대규모 비전·언어 모델 적응의 배치 효율을 높이는 방향으로 발전했습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

도메인 일반화용 PEFT 프레임워크
제로샷 이상탐지용 CLIP 적응
SVD 기반 선택적 미세조정
그룹 단위 LoRA 모듈
일반화 성분 보존 학습
작은 파라미터 예산 내 적응
태스크 호환형 적응 레이어
모델 경량화 후 적응
산업 데이터 이상 검출 파이프라인
적응 성능-오버헤드 균형 설계