• 최적화 기반 메타러닝에서, 태스크 전반에 공유된 사전 지식이 태스크 내에서 샘플 수준으로 불균형한 영향을 미친다는 점을 보여준다. • 이러한 불균형은 넓은 손실 분포를 초래하며, 사전 지식과 잘 정렬된 샘플은 낮은 손실 값을 보이는 반면 정렬되지 않은 샘플은 높은 손실 값을 보인다는 것을 확인한다. • 또한 넓은 손실 분포에서 평균으로 계산한 그라디언트는 일반화 성능을 저하시킨다는 것을 실험적으로 입증하는데, 이는 높은 손실 샘플의 기여가 낮은 손실 샘플의 기여에 의해 약화되기 때문이다. • 이 문제를 해결하기 위해, 샘플 인식 정보를 기반으로 그라디언트 노름을 중재(arbitration)하는 새로운 메타러닝 접근법을 제안하여, 사전 지식과 불일치하지만 높은 손실을 갖는 샘플이 충분히 대표되도록 한다. • 실험 결과와 이론적 분석은 제안 방법이 기존 최적화 기반 메타러닝 방법에 비해 경쟁력 있고 일반화 가능한 성능을 달성함을 보여준다. 보지 못한 태스크에 빠르게 적응하는 능력은 소수 샷 학습에서의 근본적인 목표이다. 최적화 기반 메타러닝의 최근 발전은 단 몇 번의 경사하강 단계로 태스크 간 공유 가능한 사전 지식을 학습함으로써 적응성을 향상시켰다. 그러나 우리는 이러한 공유 사전 지식이 태스크 내 개별 샘플에 불균형한 영향을 미칠 수 있으며, 그 결과 사전 지식과 밀접하게 정렬된 샘플은 낮은 손실 값을 보이고 다른 샘플들은 높은 손실 값을 보이는 넓은 손실 분포로 이어질 수 있다고 주장한다. 또한 우리의 실험은 넓은 손실 분포에서 평균으로 계산된 그라디언트가 대표적이지 않고 낮아지는 경향이 있으며, 이로 인해 높은 손실 샘플의 기여가 낮은 손실 샘플에 의해 상쇄되어 일반화 성능이 저하된다는 점을 보여준다. 이를 해결하기 위해, 태스크 적응 과정에서 샘플 인식 정보를 기반으로 그라디언트 노름을 중재하는 새로운 메타러닝 방법을 제안한다. 구체적으로, 우리는 먼저 그라디언트 벡터를 정규화하여 개별 샘플에 대한 사전 지식의 불균형한 영향을 줄인다. 이후 학습 가능한 네트워크인 Arbiter가, 원래 그라디언트 노름과 가중치 노름 사이의 관계를 분석하여 현재 그라디언트 노름을 동적으로 스케일링하는데, 이는 각 샘플에 대한 모델의 민감도와 복잡성을 나타낸다. 이와 같은 방식으로 제안된 방법인 Meta-learning with Gradient Norm Arbitration (Meta-GNA)는, 사전 지식과는 멀리 떨어져 있으나 높은 손실을 갖는 샘플을 적절히 반영하는 더 대표적이고 더 높은 그라디언트를 보존함으로써 일반화 성능을 향상시킨다. 실험 결과는 Meta-GNA가 소수 샷 분류에서 성능을 개선하며, 특히 샘플 간 사전 지식의 불균형이 더 두드러지는 교차 도메인 시나리오에서 두드러진다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.