자기지도 학습은 라벨이 없는 데이터를 활용하여 풍부한 특징 표현을 학습하는 데 유용한 강력한 패러다임으로 부상하였다. 그러나 자기지도 모델의 효능은 학습 중 사용되는 증강(augmentation)의 정도와 복잡성에 의해 종종 제한된다. 본 연구에서는 학습 과정을 도전하는 적대적(adversarial) 예시를 생성하도록 설계된 생성 네트워크를 통합함으로써 자기지도 학습을 향상시키는 새로운 프레임워크를 제안한다. 적대적으로 생성된 데이터를 통합함으로써, 본 방법은 세 가지 잘 알려진 자기지도 아키텍처—SimCLR, BYOL, SimSiam—를 확장하며 일반화 및 견고성을 개선한다. 우리는 CIFAR-10, CIFAR-100 및 Tiny ImageNet 데이터셋에서 본 접근법을 평가하였고, 기준(baseline) 모델 대비 분류 정확도에서 일관된 향상을 보임을 확인하였다. 특히, 제안한 방법은 모든 데이터셋과 학습 에폭에서 top-1 정확도에서 유의미한 향상을 달성하며 표준 자기지도 학습 기법을 능가한다. 이는 적대적 예시가 자기지도 모델의 특징 학습 능력에 상당히 기여할 수 있다는 우리의 가설을 뒷받침한다. 또한, 본 연구 결과는 생성 네트워크의 통합이 보다 고도화된 자기지도 학습 알고리즘 개발의 촉매 역할을 할 수 있음을 시사한다. 본 연구는 자기지도 학습에서의 적대적 학습(adversarial training) 잠재력과 다양한 영역에서의 응용을 탐색하는 향후 연구를 위한 기반을 제공한다.

자기지도 학습은 라벨이 없는 데이터를 활용하여 풍부한 특징 표현을 학습하는 데 유용한 강력한 패러다임으로 부상하였다. 그러나 자기지도 모델의 효능은 학습 중 사용되는 증강(augmentation)의 정도와 복잡성에 의해 종종 제한된다. 본 연구에서는 학습 과정을 도전하는 적대적(adversarial) 예시를 생성하도록 설계된 생성 네트워크를 통합함으로써 자기지도 학습을 향상시키는 새로운 프레임워크를 제안한다. 적대적으로 생성된 데이터를 통합함으로써, 본 방법은 세 가지 잘 알려진 자기지도 아키텍처—SimCLR, BYOL, SimSiam—를 확장하며 일반화 및 견고성을 개선한다. 우리는 CIFAR-10, CIFAR-100 및 Tiny ImageNet 데이터셋에서 본 접근법을 평가하였고, 기준(baseline) 모델 대비 분류 정확도에서 일관된 향상을 보임을 확인하였다. 특히, 제안한 방법은 모든 데이터셋과 학습 에폭에서 top-1 정확도에서 유의미한 향상을 달성하며 표준 자기지도 학습 기법을 능가한다. 이는 적대적 예시가 자기지도 모델의 특징 학습 능력에 상당히 기여할 수 있다는 우리의 가설을 뒷받침한다. 또한, 본 연구 결과는 생성 네트워크의 통합이 보다 고도화된 자기지도 학습 알고리즘 개발의 촉매 역할을 할 수 있음을 시사한다. 본 연구는 자기지도 학습에서의 적대적 학습(adversarial training) 잠재력과 다양한 영역에서의 응용을 탐색하는 향후 연구를 위한 기반을 제공한다.

시각적으로 유사한 물체를 운동(모션)으로 구분하는 일은 컴퓨터 비전에서 여전히 핵심적인 과제이다. 지도 학습 기반 트래커는 가능성을 보이지만, 최근의 자기지도 학습 트래커는 시각적 단서가 모호해질 때 어려움을 겪어, 대규모 라벨 데이터 없이 확장성과 일반화를 제한받는다. 본 연구에서는 사전 학습된 비디오 확산 모델이 과업 특화 학습 없이도 추적에 적합한 모션 표현을 본질적으로 학습한다는 점을 발견하였다. 이러한 능력은, 후속의 외형(appearance) 정교화와 구별되게, 디노이징(denoising) 과정의 초기의 높은 노이즈 단계에서 모션을 분리해 내기 때문에 발생한다. 이 발견을 바탕으로, 우리는 자기지도 학습 트래커를 통해 시각적으로 유사한 물체를 구분하는 성능을 크게 향상시켰으며, 이는 기존 방법에서 충분히 탐구되지 않은 취약 지점이다. 우리의 방법은 기존의 확립된 벤치마크에서 최근 자기지도 학습 접근법 대비 최대 6점의 향상을 달성하고, 시각적으로 유사한 항목의 추적에 초점을 둔 새롭게 도입한 테스트에서도 성능을 평가한다. 시각화 결과는 확산에서 유도된 모션 표현이, 도전적인 시점 변화와 변형에도 불구하고 심지어 동일한 물체에 대해서도 견고한 추적을 가능하게 함을 확인해 준다.

초기화 단계에서 신경망을 가지치기(pruning)하는 여러 방법들이 있다. 이러한 방법들은 각 가중치(weight)의 중요도를 신중히 산정하고, 중요하다고 판단되는 것만을 남기며 나머지는 가지치기한다. 그러나 후속 연구들은, 각 층(layer)에서 남아 있는 가중치의 수가 해당 층에서의 중요 가중치의 수와 동일하기만 하면, 무작위 가지치기(random pruning)도 유사한 성능을 낼 수 있음을 보여주었다. 가중치의 중요도를 무시하는 이러한 무작위 가지치기가, 특히 층 내부에서조차 중요도를 고려하지 않음에도 불구하고, 어떻게 비교 가능한 성능을 달성할 수 있는가? 본 연구에서는 이 질문에 대해 조명한다. 구체적으로, 층별로 남길 가중치의 수를 이와 같은 방식으로 설정하기만 하면, 가지치기 이후 다수의 중요한 가중치가 유지되는 경향이 있으며, 남아 있는 가중치들의 중요도 또한 높은 경향이 있음을 보인다. 이러한 통계적 이점은, 각 층에서 중요 가중치의 수와 동일한 수만큼 가중치를 유지하는 무작위 가지치기 방법을, 모든 층에 걸쳐 균일한 가지치기 비율(uniform pruning ratio)을 사용하는 다른 무작위 가지치기 방법과 비교함으로써 입증한다. 무작위성이 적용되어 중요한 가중치와 중요하지 않은 가중치를 선택적으로 구별할 수 없는 상황에서, 전자가 후자보다 우수하다는 점은 명확히 규명되어야 한다. 이를 위해 이론적 증명을 제시하며, 다양한 아키텍처와 데이터셋에서의 실험적 결과도 함께 보고한다.

비디오 데이터 축약은 비디오 처리에 드는 막대한 계산 비용을 줄이는 것을 목표로 한다. 그러나 이는 공간적 외관과 시간적 역학 사이의 불가분의 상호 의존성에 관한 근본적인 문제에 직면해 있다. 선행 연구는 정적/동적 분리 패러다임을 따르며, 비디오를 정적 콘텐츠와 보조 모션 신호로 분해한다. 이러한 다단계 접근은 실제 세계의 행위에 내재된 결합 양상을 종종 잘못 재현한다. 우리는 희소 모션을 위한 점진적 정제 및 삽입(Progressive Refinement and Insertion for Sparse Motion, PRISM)이라는 통합적 접근을 제안하는데, 이는 비디오를 처음부터 통일되고 완전히 결합된 시공간 구조로 취급한다. 표현 효율을 최대화하기 위해 PRISM은 고정 프레임 최적화를 회피함으로써 비디오의 고유한 시간적 중복성을 해결한다. 비디오는 최소한의 시간적 기준 프레임에서 시작하여, 선형 보간으로는 비선형 역학을 포착하지 못하는 경우에 한해 핵심 프레임을 점진적으로 삽입한다. 이러한 핵심 순간은 그라디언트 불일치(gradient misalignments)를 통해 식별된다. 이러한 적응적 과정은 표현 능력이 필요한 곳에 정확히 배분되도록 보장하여, 복잡한 모션을 보존하면서 저장 요구량을 최소화한다. 광범위한 실험 결과, PRISM은 표준 벤치마크 전반에서 경쟁력 있는 성능을 달성함과 동시에, 희소하고 전체적으로 학습된 표현을 통해 최첨단 수준의 저장 효율을 제공함을 보여준다.

생성형 AI의 안전하고 윤리적인 사용을 위해 AI 생성 콘텐츠를 식별하는 것은 매우 중요하다. 최근 연구는 알려지지 않은 생성기를 대상으로 일반화되는 검출기를 개발하는 데 초점을 맞추었으며, 널리 사용되는 방법들은 고수준 특징 또는 저수준 지문에 의존하는 방식으로 나뉜다. 그러나 이러한 방법에는 명확한 한계가 있다. 즉, 보지 못한 콘텐츠에 치우치거나, JPEG 압축과 같은 일반적인 이미지 열화에 취약하다는 점이다. 이러한 문제를 해결하기 위해 본 연구는 고수준 의미 정보와 저수준 질감 정보를 통합하기 위해 PatchShuffle을 포함하는 새로운 접근법 SFLD를 제안한다. SFLD는 여러 수준에서 PatchShuffle을 적용함으로써 다양한 생성 모델 전반에 걸쳐 강건성과 일반화 성능을 향상시킨다. 또한 현재의 벤치마크는 낮은 이미지 품질, 충분하지 않은 콘텐츠 보존, 제한된 클래스 다양성과 같은 과제에 직면해 있다. 이에 대응하여, 실제 이미지와 합성 이미지 간에 시각적으로 거의 동일한 쌍을 구성함으로써 높은 품질과 콘텐츠 보존을 보장하는 새로운 벤치마크 생성 방법론인 TwinSynths를 도입한다. 광범위한 실험과 분석 결과, SFLD는 GAN, 확산 모델, TwinSynths에서 비롯된 다양한 가짜 이미지에 대한 검출에서 기존 방법을 능가하며, 새로운 생성 모델에 대한 최신 수준의 성능과 일반화 능력을 입증한다.