자기지도/대조학습 기반 시각 표현 학습과 정제
Self-supervised contrastive representation learning and refinement
연구 내용
라벨 비용을 줄이기 위해 대조학습 기반의 코어셋·중복 식별과 자기지식 증류를 결합하여 강건한 시각 표현을 학습하는 연구
본 연구는 라벨 없는 데이터에서 유효한 표현을 추출하기 위해 대조학습 프레임워크를 확장하는 데 초점을 둡니다. 코사인 유사도 기반 코어셋 점수로 학습 예제의 정보성을 선별하고, 중복 예제를 그래디언트 관점에서 정제하여 주석 비용을 완화합니다. 또한 self-Knowledge Distillation과 적대적으로 생성된 예제를 활용해 표현의 일반화와 강건성을 함께 높이고, 생성형 네트워크를 self-supervised 학습에 결합하는 방향으로 확장합니다. 이를 통해 데이터 효율 중심의 시각 학습 파이프라인을 구성합니다.
관련 연구 성과
관련 논문
4편
관련 특허
0건
관련 프로젝트
5건
연구 흐름
초기에는 self-supervised contrastive learning을 활용해 코어셋과 중복 예제를 비지도 방식으로 식별하는 절차를 정립하였습니다. 이후 self-Knowledge Distillation에서 적대적 학습과 암묵적 정규화를 결합하여 학습 신뢰도를 보강하는 연구로 확장되었습니다. 동시에 적대적으로 생성된 예제를 self-supervised 학습에 통합해 표현의 일반화와 견고성을 향상시키는 방향으로 심화되었습니다. 최근에는 대형 생성 모델과 멀티모달 생성 프레임워크를 연계하여 실시간 인터렉션과 다양한 입력 양식에서의 표현 학습 적용성을 넓히는 흐름을 수행하고 있습니다.
활용 가능성
활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.
- 라벨 효율 시각 표현 학습
- 코어셋 기반 데이터 선별
- 중복 예제 제거 데이터 정제
- self-Knowledge Distillation 파이프라인
- 적대적 예제 기반 강건 학습
- 멀티모달 실시간 생성 모델
- 패치 재프로그래밍 기반 시계열 예측
- RNA 서열 표현학습 모델
- 시각 자기회귀 생성 모델
- 주석 비용 최소화 학습 프로토콜
관련 논문
구분
제목
AI-KD: Adversarial learning and Implicit regularization for self-Knowledge Distillation
Extending Contrastive Learning to Unsupervised Coreset Selection
Extending Contrastive Learning to Unsupervised Redundancy Identification
Enhancing self-supervised visual representation learning through adversarially generated examples
관련 프로젝트
구분
제목
지속가능한 실시간 멀티모달 인터렉티브 생성 AI 개발
전역적 제어가 가능한 음성 생성 프레임워크 연구
세부 패턴 보존에 초점을 맞춘 시각적 자기회귀 생성 인공지능 연구
강화학습 기반의 패치 재프로그래밍을 통한 시계열 데이터의 거대 언어 모델 적용 연구
AI 기반 virus RNA 타겟 시스템 디자인 및 항바이러스 치료제 개발 플랫폼 연구