모델 역추정(model inversion)은 데이터가 없는 학습(data-free learning)에서 널리 채택되는 기법으로, 원래의 학습 데이터에 대한 접근 없이 미리 학습된 모델로부터 반복적 최적화를 통해 합성 입력을 재구성한다. 그러나 최신 Vision Transformer(ViT)에 이를 적용하는 일은 비싼 자기-어텐션(self-attention) 메커니즘으로 인해 중대한 계산상의 어려움을 야기한다. 이를 해결하기 위해, Sparse Model Inversion(SMI)에서는 중요하지 않아 보이는 패치를 가지치기(pruning)하고 폐기함으로써 효율성을 개선하는 방법이 제안되었으며, 해당 패치가 지식 전이에 장애물이 된다고까지 주장되었다. 하지만 우리의 실증적 결과는 그 반대임을 시사한다. 즉, 무작위로 선택된 패치라도 역추정을 계속하는 동안 결국에는 전이 가능한 지식을 획득할 수 있다. 이는 조기(先期)에 역추정된 패치를 어떤 것이든 폐기하는 것이 비효율적이라는 점을 드러내는데, 그 경우 클래스 비의존적(class-agnostic) 특징뿐 아니라 클래스-특이적(class-specific) 특징의 추출이 함께 억제되기 때문이다. 본 논문에서는 역추정 과정 동안 가장 중요한 패치를 점진적으로 분리(detach)하여 희소한 합성 이미지를 구성하되, 나머지 패치가 향후 선택을 위해 계속 진화하도록 하는 새로운 접근인 Patch Rebirth Inversion(PRI)을 제안한다. 이러한 점진적 전략은 효율을 향상시킬 뿐 아니라, 처음에는 덜 유익한 패치가 점차 더 많은 클래스-관련 지식을 축적하도록 유도한다. 우리는 이 현상을 Re-Birth 효과라고 지칭하며, 이를 통해 클래스 비의존적 지식과 클래스-특이적 지식의 균형을 효과적으로 맞춘다. 실험 결과 PRI는 표준 Dense Model Inversion(DMI)보다 최대 10배 더 빠른 역추정을 달성하고, SMI보다 2배 더 빠르면서도 정확도에서는 일관되게 SMI를 능가하며 DMI의 성능과도 일치함을 보인다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.