대조학습과 다중 뷰 데이터 증강을 통한 표현학습 강건화 연구
Robust Representation Learning via Contrastive Learning and Distinct View Augmentation
연구 내용
구문 유사성으로 인한 휴리스틱 의존을 완화하는 변환과 손실 설계를 적용하고, 다중 뷰 증강과 적대 교란을 결합해 일반화·강건성을 개선하는 연구
지도 대조학습에서 문장 쌍이 갖는 구문적 유사성이 모델이 실제 의미가 아닌 표면 특징에 의존하게 만들 수 있습니다. 연구실은 ParsEVAL 및 word overlap 기반 진단을 바탕으로, 가설을 대상으로 간단한 구문 변환을 수행하고 SupCon Loss 변형을 통해 NLI 데이터의 휴리스틱 경로를 약화하는 학습 프레임을 구성합니다. 비전 영역에서는 서로 다른 특성을 가진 다중 뷰(색 보존·형상 보존·다양성 강화)를 동시에 사용해 핵심 시각 정보를 균형 있게 학습하도록 설계합니다. 또한 다양성 뷰에 적대 교란을 결합해 부정확한 상관관계를 줄이면서 부패(corruption) 환경에 대한 견고성을 높이는 방향으로 연구를 수행합니다.
관련 연구 성과
관련 논문
3편
관련 특허
0건
관련 프로젝트
0건
연구 흐름
표현학습의 출발점으로, 2024년에는 supervised contrastive learning이 구문 유사성에 의해 휴리스틱에 편향될 수 있다는 문제를 다루고, 간단한 구문 변환과 손실 설계를 통해 STS 및 전이 과제에서의 임베딩 품질을 검증했습니다. 이후 2025년에는 시각 도메인으로 확장하여, 서로 다른 특징을 보존·강조하는 다중 증강을 동시에 적용하는 DV(Distinct Views) 전략을 제안했습니다. 같은 해 후속 연구에서는 인간이 인지하는 특징에 주목하도록 적대 supervised contrastive learning을 적용하여 강건성을 추가로 강화하는 방향으로 진행되었습니다. 전반적으로 spurious correlation을 줄이고 핵심 특징 학습을 안정화하는 흐름이 이어졌습니다.
활용 가능성
활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.
- 의미 기반 검색 고도화
- 문장 유사도 평가 안정화
- 전이 학습 성능 향상
- 잡음 및 상관 편향 완화
- 도메인 적응 임베딩 생성
- 부패 환경에서의 인식 강건화
- 자율주행·로보틱스 특징 학습
- 교육 데이터 품질 진단
- 대규모 문장 분류를 위한 사전학습
- 시각-텍스트 공통 표현 학습
관련 논문
구분
제목
Simple Data Transformations for Mitigating the Syntactic Similarity to Improve Sentence Embeddings at Supervised Contrastive Learning
Distinct Views Improve Generalization and Robustness: Combinations of Augmentations With Different Features
Focusing on what humans see: Robustness enhancement through adversarial supervised contrastive learning