대규모 언어 모델(LLMs)과 대규모 비전 모델(LVMs)의 빠른 발전은 획기적인 성능을 달성했지만, 종종 1000억(10^11) 개 이상의 매개변수를 초과하는 방대한 규모로 인해 상당한 배포상의 어려움도 함께 야기하였다. 매개변수 효율적 미세조정(Parameter-Efficient Fine-tuning, PEFT) 방법, 특히 저랭크 적응(Low-Rank Adaptation, LoRA)은 가중치 업데이트를 저랭크 행렬들의 곱으로 근사함으로써 이 문제를 해결하여, 경쟁력 있는 성능을 유지하면서 학습 가능한 매개변수의 수를 극적으로 감소시킨다. 그러나 LoRA의 효과성은 근본적으로 업데이트 행렬의 제한된 유효 랭크에 의해 제약되며, 복잡한 적응 과제를 위해 요구되는 풍부하고 고차원적인 변화를 포착하는 데 한계를 가진다. 본 연구는 이 한계를 극복하기 위해 분할 정복(divide-and-conquer) 전략을 도입한 GroupLoRA를 제안한다. GroupLoRA는 가중치 행렬을 g개 그룹으로 분할하고, 각 그룹에 대해 독립적인 LoRA 모듈을 적용함으로써 이를 달성한다. GroupLoRA는 두 가지 핵심 혁신을 도입한다: (1) 학습 가능한 상호작용 행렬을 통해 그룹 간 정보 교환을 가능하게 하는 Inter-Group Bridge 모듈, 그리고 (2) 최종 출력에서 각 그룹의 기여도를 동적으로 조정하는 Learnable Scaling Factors이다. 이러한 설계는 그룹 특화(group specialization)를 가능하게 하면서도 그룹 간 조율(cross-group coordination)을 유지하여, 제한된 매개변수 예산 내에서 모델의 표현력을 극대화한다. LLM과 VLM에 대한 광범위한 실험 결과, GroupLoRA는 기존 LoRA에 비해 더 적은 매개변수로 일관되게 더 높은 성능을 달성함을 보여준다. 본 접근법은 매개변수 효율적 미세조정에 그룹 단위 처리(group-wise processing) 원리를 성공적으로 적용함으로써, 다양한 과제에 걸친 효율적인 대형 모델 적응을 위한 실용적인 해결책을 제공한다.

다중표지 원격탐사 이미지 분류는 한 장의 이미지 내에서 여러 객체와 토지 피복을 분류하는 기본 과제이다. 그러나 이러한 과제를 위해 딥러닝 모델을 학습시키는 데에는 라벨링 비용이 상당히 많이 소요된다. 라벨링 비용을 줄이기 위한 여러 노력들이 이루어졌지만, 그 결과 라벨 품질이 저하되고 잘못된(즉, 노이즈가 포함된) 라벨이 포함되는 경우가 흔하다. 이러한 문제를 해결하기 위해, 다중표지 노이즈에 강인하도록 딥러닝 모델을 학습시키는 알고리즘들이 문헌에서 제안되어 왔다. 그럼에도 불구하고, 이러한 알고리즘들의 효능은 각 원격탐사 이미지의 개별 특성과 특징과 무관하게 노이즈가 생성되는 인스턴스 비독립적(instance-independent) 다중표지 노이즈 하에서만 평가되어 왔다. 본 논문에서는 다중표지 원격탐사 이미지 데이터셋에 대해 최초로 인스턴스 의존적(instance-dependent) 다중표지 노이즈를 생성하는 방법을 제안한다. 우리는 제로샷 예측 기능을 갖춘 비전-언어 모델을 활용하여 각 이미지에 대한 범주별 예측 점수를 계산하고, 이를 바탕으로 인스턴스에 의존하는 방식으로 다중표지 노이즈를 생성한다. 제안하는 인스턴스 의존적 다중표지 노이즈는 전통적인 인스턴스 비독립적 다중표지 노이즈에 비해 개별 이미지에 대해 보다 용이하게 생성됨을 보여준다. 또한 더 어려운 노이즈 시나리오가 생성되어, 그에 따라 보다 복잡한 결정 경계와 딥러닝 모델 학습 시 더 강한 과적합이 유발됨을 확인한다. 마지막으로, 생성된 인스턴스 의존적 다중표지 노이즈 하에서 기존의 노이즈 강인 학습 알고리즘들을 재평가한 결과, 여러 알고리즘이 인스턴스 의존적 다중표지 노이즈에 대해 제한적인 강인성만을 보이는 것으로 관찰된다.

대규모 언어 모델(LLMs)과 대규모 비전 모델(LVMs)의 빠른 발전은 획기적인 성능을 달성했지만, 종종 1000억(10^11) 개 이상의 매개변수를 초과하는 방대한 규모로 인해 상당한 배포상의 어려움도 함께 야기하였다. 매개변수 효율적 미세조정(Parameter-Efficient Fine-tuning, PEFT) 방법, 특히 저랭크 적응(Low-Rank Adaptation, LoRA)은 가중치 업데이트를 저랭크 행렬들의 곱으로 근사함으로써 이 문제를 해결하여, 경쟁력 있는 성능을 유지하면서 학습 가능한 매개변수의 수를 극적으로 감소시킨다. 그러나 LoRA의 효과성은 근본적으로 업데이트 행렬의 제한된 유효 랭크에 의해 제약되며, 복잡한 적응 과제를 위해 요구되는 풍부하고 고차원적인 변화를 포착하는 데 한계를 가진다. 본 연구는 이 한계를 극복하기 위해 분할 정복(divide-and-conquer) 전략을 도입한 GroupLoRA를 제안한다. GroupLoRA는 가중치 행렬을 g개 그룹으로 분할하고, 각 그룹에 대해 독립적인 LoRA 모듈을 적용함으로써 이를 달성한다. GroupLoRA는 두 가지 핵심 혁신을 도입한다: (1) 학습 가능한 상호작용 행렬을 통해 그룹 간 정보 교환을 가능하게 하는 Inter-Group Bridge 모듈, 그리고 (2) 최종 출력에서 각 그룹의 기여도를 동적으로 조정하는 Learnable Scaling Factors이다. 이러한 설계는 그룹 특화(group specialization)를 가능하게 하면서도 그룹 간 조율(cross-group coordination)을 유지하여, 제한된 매개변수 예산 내에서 모델의 표현력을 극대화한다. LLM과 VLM에 대한 광범위한 실험 결과, GroupLoRA는 기존 LoRA에 비해 더 적은 매개변수로 일관되게 더 높은 성능을 달성함을 보여준다. 본 접근법은 매개변수 효율적 미세조정에 그룹 단위 처리(group-wise processing) 원리를 성공적으로 적용함으로써, 다양한 과제에 걸친 효율적인 대형 모델 적응을 위한 실용적인 해결책을 제공한다.

다중표지 원격탐사 이미지 분류는 한 장의 이미지 내에서 여러 객체와 토지 피복을 분류하는 기본 과제이다. 그러나 이러한 과제를 위해 딥러닝 모델을 학습시키는 데에는 라벨링 비용이 상당히 많이 소요된다. 라벨링 비용을 줄이기 위한 여러 노력들이 이루어졌지만, 그 결과 라벨 품질이 저하되고 잘못된(즉, 노이즈가 포함된) 라벨이 포함되는 경우가 흔하다. 이러한 문제를 해결하기 위해, 다중표지 노이즈에 강인하도록 딥러닝 모델을 학습시키는 알고리즘들이 문헌에서 제안되어 왔다. 그럼에도 불구하고, 이러한 알고리즘들의 효능은 각 원격탐사 이미지의 개별 특성과 특징과 무관하게 노이즈가 생성되는 인스턴스 비독립적(instance-independent) 다중표지 노이즈 하에서만 평가되어 왔다. 본 논문에서는 다중표지 원격탐사 이미지 데이터셋에 대해 최초로 인스턴스 의존적(instance-dependent) 다중표지 노이즈를 생성하는 방법을 제안한다. 우리는 제로샷 예측 기능을 갖춘 비전-언어 모델을 활용하여 각 이미지에 대한 범주별 예측 점수를 계산하고, 이를 바탕으로 인스턴스에 의존하는 방식으로 다중표지 노이즈를 생성한다. 제안하는 인스턴스 의존적 다중표지 노이즈는 전통적인 인스턴스 비독립적 다중표지 노이즈에 비해 개별 이미지에 대해 보다 용이하게 생성됨을 보여준다. 또한 더 어려운 노이즈 시나리오가 생성되어, 그에 따라 보다 복잡한 결정 경계와 딥러닝 모델 학습 시 더 강한 과적합이 유발됨을 확인한다. 마지막으로, 생성된 인스턴스 의존적 다중표지 노이즈 하에서 기존의 노이즈 강인 학습 알고리즘들을 재평가한 결과, 여러 알고리즘이 인스턴스 의존적 다중표지 노이즈에 대해 제한적인 강인성만을 보이는 것으로 관찰된다.

최근 초해상도~(SR) 방법은 주로 장거리 모델링 능력이 강하고 표현력이 뛰어난 변환기(Transformer)를 채택한다. 그러나 대부분의 SR 변환기는 상대 위치 편향~(RPB)에 크게 의존하는데, 이는 FlashAttention과 같은 하드웨어 효율적인 어텐션 커널을 활용하지 못하게 한다. 이러한 제약은 학습과 추론 모두에서 막대한 계산 부담을 야기하여, 학습 패치 크기나 자기-어텐션 윈도우를 확장함으로써 SR 변환기를 스케일링하려는 시도를 심각하게 제한한다. 그 결과, 변환기의 내재된 확장성을 적극적으로 활용하는 다른 분야와 달리 SR 변환기는 제한된 수용영역(receptive fields)을 효과적으로 활용하는 데에 여전히 큰 비중이 실려 있다. 본 논문에서는 RPB의 대안으로서 FlashAttention을 SR 변환기에 가능하게 하는 순위-인수분해(rank-factorized) 암시적 신경 편향~(RIB) 을 제안한다. 구체적으로, RIB는 저랭크의 암시적 신경 표현을 사용하여 위치 편향을 근사하고, 이를 채널 단위 방식으로 픽셀 콘텐츠 토큰과 연결(concatenate)하여, 어텐션 점수 계산에서의 원소 단위 편향 가산(element-wise bias addition)을 내적(dot-product) 연산으로 전환한다. 또한 RIB와 FlashAttention이 가능하게 하는 장거리 상호작용의 이점을 충분히 활용하기 위해, 합성곱 기반 국소 어텐션과 순환(cyclic) 윈도우 전략을 도입한다. 학습 패치 크기 및 데이터셋 크기를 함께 스케일링하면서 윈도우 크기를 최대 extbf{96$\times$96}까지 확장하여, SR 과제에서 변환기의 이점을 극대화한다. 그 결과, 본 네트워크는 Urban100$imes$2에서 extbf{35.63\,dB PSNR}을 달성하는 동시에, RPB 기반 SR 변환기~(PFT)에 비해 각각 extbf{2.1$\times$}와 extbf{2.9$\times$}만큼 학습 및 추론 시간을 감소시킨다.

Recent Super-Resolution~(SR) methods mainly adopt Transformers for their strong long-range modeling capability and exceptional representational capacity. However, most SR Transformers rely heavily on relative positional bias~(RPB), which prevents them from leveraging hardware-efficient attention kernels such as FlashAttention. This limitation imposes a prohibitive computational burden during both training and inference, severely restricting attempts to scale SR Transformers by enlarging the training patch size or the self-attention window. Consequently, unlike other domains that actively exploit the inherent scalability of Transformers, SR Transformers remain heavily focused on effectively utilizing limited receptive fields. In this paper, we propose Rank-factorized Implicit Neural Bias~(RIB), an alternative to RPB that enables FlashAttention in SR Transformers. Specifically, RIB approximates positional bias using low-rank implicit neural representations and concatenates them with pixel content tokens in a channel-wise manner, turning the element-wise bias addition in attention score computation into a dot-product operation. Further, we introduce a convolutional local attention and a cyclic window strategy to fully leverage the advantages of long-range interactions enabled by RIB and FlashAttention. We enlarge the window size up to \textbf{96$\times$96} while jointly scaling the training patch size and the dataset size, maximizing the benefits of Transformers in the SR task. As a result, our network achieves \textbf{35.63\,dB PSNR} on Urban100$\times$2, while reducing training and inference time by \textbf{2.1$\times$} and \textbf{2.9$\times$}, respectively, compared to the RPB-based SR Transformer~(PFT).

도메인 일반화(Domain generalization, DG)는 하나 또는 여러 개의 소스 도메인을 사용하여 모델을 적응시키고, 보지 못한 타깃 도메인에서의 견고한 성능을 보장하는 것을 목표로 한다. 최근에는 파운데이션 모델의 매개변수 효율적 미세조정(Parameter-Efficient Fine-Tuning, PEFT)이 DG 문제의 맥락에서 유망한 결과를 보인 바 있다. 그럼에도 불구하고 기존 PEFT 방법들은 사전학습 모델의 일반화 가능한 구성요소를 보존하는 것과, 과제에 특화된 특징을 학습하는 것 사이의 균형을 달성하는 데 여전히 어려움을 겪는다. 일반화 가능한 구성요소의 분포에 대한 통찰을 얻기 위해, 우리는 먼저 특이값 분해(singular value decomposition)의 관점에서 사전학습 가중치를 분석한다. 이러한 통찰을 바탕으로, 잔여 부분은 고정한 채 사소한(미세한) 특이값 성분을 선택적으로 조정하는 Singular Value Decomposed Minor Components Adaptation(SoMA)을 제안한다. SoMA는 과제 특화 능력을 효율적으로 습득하면서도 사전학습 모델의 일반화 능력을 효과적으로 보존한다. 또한 도메인-일반화 가능한 블록을 고정하고, 에노일링 가중치 감소(annealing weight decay) 전략을 적용함으로써 일반화성과 판별성(discriminability) 간의 섬세한 상충관계에서 최적의 균형을 이룬다. SoMA는 도메인 일반화 의미론적 분할(domain generalized semantic segmentation)부터 도메인 일반화 객체 탐지(domain generalized object detection)에 이르는 여러 벤치마크에서 최신(state-of-the-art) 성능을 달성한다. 더불어 본 방법은 추가적인 추론 오버헤드나 정규화 손실을 도입하지 않으며, 어떤 백본(backbone)이나 헤드(head)와도 호환 가능하고, 다양한 작업에 쉽게 통합될 수 있도록 설계되어 활용성이 높다.

제로샷 이상 탐지(Zero-Shot Anomaly Detection, ZSAD)는 보지 못한 범주나 시나리오에서 이상을 식별하는 것을 목표로 한다. 최근에는 비전-언어 모델(Vision-Language Models, VLMs), 특히 CLIP이 이상 탐지 성능을 향상시키기 위해 활용되어 왔다. 그러나 CLIP은 국소 이상을 포착하는 데 어려움이 있으며, 이로 인해 모델 복잡성과 계산 부담을 크게 증가시키는 추가 모듈들이 개발되었다. 이러한 문제를 해결하기 위해, 우리는 AULoRA를 제안하는데, 이는 CLIP의 시각 인코더에 저랭크 적응(Low Rank Adaptation, LoRA)을 통합하고, 텍스트 표현에 시각적 맥락을 효율적으로 주입함으로써 이상 이해를 향상시키는 새로운 접근법이다. CLIP의 일반적인 시각적 지식을 보존하면서, 우리는 특이값 분해(Singular Value Decomposition, SVD)를 활용하여 가장 관련성이 높은 특이 성분만 선택적으로 미세 조정함으로써 의미적 이상을 정밀하게 식별할 수 있게 한다. 그럼에도 불구하고 이상 탐지는 종종 매우 다양하고 범주-특화적인 특성들을 포착해야 하며, 단순한 텍스트 프롬프트만으로는 이를 적절하게 표현하기 어렵다. 이를 극복하기 위해, 우리는 입력 이미지로부터 추출된 시각적 맥락에 기반하여 텍스트 표현을 적응시키고, 이를 통해 범주 인식 및 이상에 민감한 정렬을 달성하도록 한다. AULoRA는 CLIP의 원래 구조와 추론 효율을 유지하면서, 다양한 산업 데이터셋 전반에서 이미지 수준 및 픽셀 수준 이상 탐지 벤치마크 모두에 대해 최첨단 성능을 달성한다.

수치 모델은 조석류를 포함한 지구과학적 현상을 이해하는 데 오랫동안 사용되어 왔으며, 이는 재생에너지 생산과 연안 공학에 핵심적이다. 그러나 이들 모델의 계산 비용이 높아 다양한 해상도의 데이터를 생성하는 데 제약이 있다. 대안으로, 추론 속도가 더 빠른 딥러닝 기반 하향(다운스케일링) 기법이 주목받고 있다. 그러나 대부분의 방법은 고정된 스케일에서만 추론이 가능하며, 목표 지구과학 데이터의 중요한 특성을 간과한다. 본 논문에서는 이미지와 달리 이질성(heterogeneity)과 국소 의존성(local dependency)이라는 고유한 특성을 고려하여, 조석류 데이터에 대한 새로운 하향 기조(다운스케일링) 프레임워크를 제안한다. 또한 본 프레임워크는 연속 표현(continuous representation) 모델을 활용함으로써 임의의 스케일로 출력 데이터를 생성할 수 있다. 제안된 프레임워크는 LIIF에 비해 유속 예측을 MSE 기준 93.21%, MAE 기준 63.85% 크게 향상시키는 동시에, FLOPs를 33.2% 줄이는 주목할 만한 성능을 달성하였다. 코드는 GitHub에서 제공될 예정이다: https://github.com/dslisleedh/LIIFNM.

최근 효율적인 비전 트랜스포머(Vision Transformers)는 연산 지연(latency)이 낮으면서도 자원이 제한된 장치에서 뛰어난 성능을 보인 바 있다. 일반적으로 이들은 $4\times 4$ 패치 임베딩과 매크로 수준의 4단계 구조를 사용하며, 마이크로 수준에서는 멀티-헤드(multi-head) 구성의 정교한 어텐션(attention)을 활용한다. 본 논문은 메모리 효율적인 방식으로 설계 전반의 계산적 중복을 해결하는 것을 목표로 한다. 우리는 더 큰 스트라이드(stride)의 patchify 스템을 사용하면 메모리 접근 비용을 줄일 뿐만 아니라, 초기 단계부터 토큰 표현이 공간적 중복을 감소시키는 특성을 활용함으로써 경쟁력 있는 성능을 달성할 수 있음을 발견하였다. 또한 예비 분석을 통해, 초기 단계의 어텐션 레이어는 합성곱(convolution)으로 대체될 수 있으며, 후반 단계의 여러 어텐션 헤드(attention heads)는 계산적으로 중복된다는 점을 시사한다. 이를 처리하기 위해, 헤드 중복을 본질적으로 방지하는 단일 헤드(single-head) 어텐션 모듈을 도입하고, 전역(global) 정보와 국소(local) 정보를 병렬로 결합하여 정확도 또한 동시에 향상시킨다. 이러한 해결책을 바탕으로, 최신의 속도-정확도 절충(tradeoff)을 달성하는 Single-Head Vision Transformer인 SHViT를 제안한다. 예를 들어 ImageNet-1k에서 우리의 SHViT-S4는 GPU, CPU 및 iPhone12 모바일 기기에서 각각 MobileViTv2 $\times l.0$ 대비 $3.3\times ,8.l\times$ 및 $2.4\times faster$이며, 정확도는 1.3% 더 높다. MS COCO에서 Mask-RCNN 헤드를 사용한 객체 검출 및 인스턴스 분할에서, 본 모델은 FastViT-SA12와 비슷한 수준의 성능을 달성하면서도 GPU와 모바일 장치에서 각각 백본(backbone) 지연을 $3.8\times and2.0\times lower$로 더 낮춘다.