특허 개요
본 특허는 이미지에 가해진 미세한 공격성 교란에 대응해 이미지 처리 모델의 인식 오류를 줄이는 손상도 기반 이미지 방어 기술입니다. 원본과 증강 이미지에서 특징 벡터인 임베딩을 추출하고, 손상된 임베딩 상태에서 멀어지도록 보정 섭동을 생성하는 멀티뷰 가이드 역공격을 수행합니다. 각 뷰와 확률적으로 추가 변형한 이미지 사이의 정규화 임베딩 편차로 손상도를 추정하고, 시그모이드 기반 소프트 가중치로 보정 강도를 조절한 뒤 뷰별 예측을 집계합니다. 모델 파라미터와 프롬프트를 갱신하지 않는 튜닝 프리 방식입니다.
- 핵심 기능
입력 이미지와 증강 이미지의 임베딩을 추출하고, 역공격 적용 전후 임베딩 간 거리가 증가하도록 노름 제약 내에서 보정 섭동을 반복 생성합니다. 추가 확률적 증강에 따른 임베딩 편차로 손상도를 산출한 뒤, 손상도가 높은 뷰는 보정을 강화하고 낮은 뷰는 억제하여 최종 예측을 집계합니다.
- 차별 강점
기존 테스트 시간 역공격 방식이 손상된 원본 임베딩과 노이즈 기반 이진 판단에 의존하는 한계를, 다중 증강 뷰와 손상도 기반 연속 가중치로 보완합니다. 인스턴스마다 프롬프트를 갱신하는 방식과 달리 모델·프롬프트 튜닝 없이 동작해 메모리 부담을 줄이고 배치 단위 병렬 추론을 지원합니다.
- 활용 범위
기술·연구 측면에서는 비전-언어 모델 기반 제로샷 이미지 분류와 적대적 강건성 연구에 활용 가능하며, 객체 탐지·이미지 분할·이미지 캡셔닝으로의 적용을 검토할 수 있습니다. 사업 측면에서는 비전-언어 모델 서비스와 지능형 영상분석 제품의 적대적 공격 대응 모듈로 확장할 수 있습니다.
연구 개발 단계
CLIP ViT-B/32의 파라미터를 고정한 상태에서 미세 분류 데이터셋과 ImageNet 계열 분포 변화 벤치마크를 사용해 기존 방어 방식과 비교하고, 공격 유형별 강건성 및 구성요소별 효과를 확인했습니다. 다른 모델 구조와 객체 탐지·분할·캡셔닝, 실제 서비스 환경의 성능은 추가 검증이 필요합니다.
- 모델·데이터셋: 고정된 CLIP ViT-B/32 기반 이미지 분류, 미세 분류 데이터셋 및 ImageNet·ImageNet-A·ImageNet-V2·ImageNet-R·ImageNet-S
- 비교 방식: 무방어 CLIP, 적대적 프롬프트 튜닝, 테스트 시간 프롬프트 튜닝, 다중 뷰 집계, TTC 및 가중치 변형 방식
- 실행·공격 조건: NVIDIA A100 GPU·PyTorch 환경, PGD·DI²-FGSM·CW·AutoAttack·적응적 공격 평가
현재 성과
미세 분류 데이터셋에서 PGD-100, ε=4 공격을 적용했을 때 실시예의 적대적 강건성으로 보고된 분류 정확도입니다. 해당 비교 실험에서 모든 비교예 중 가장 높은 성능을 보였으며, 같은 실시예의 클린 정확도는 58.7%였습니다.
고정된 CLIP ViT-B/32를 대상으로 ImageNet과 분포 외 데이터 벤치마크에서 평균 적대적 강건성을 확인했습니다. 동일 평가에서 TTC 비교예는 4.6%로 보고되었으며, 별도로 다양한 공격 유형과 구성요소 제거·변형 실험도 수행했습니다.
손상된 원본 임베딩만 사용하는 대신 원본·증강 뷰를 함께 활용해 역공격 가이던스를 구성합니다. 확률적 증강 전후의 정규화 임베딩 편차로 손상도를 추정하고 보정 강도를 연속적으로 조절하므로, 기존 노이즈 기반 이진 게이팅과 구별됩니다. 다중 뷰 구성과 소프트 가중치의 효과는 구성요소 비교 실험으로 확인했습니다.
상용화까지 남은 부분
CLIP ViT-B/32 이외의 모델 구조에서 방어 효과와 적용 호환성 검증
객체 탐지·이미지 분할·이미지 캡셔닝 및 기업 실환경 데이터에서의 성능 검증
대규모 서비스 배포 조건에서 추론 지연·운영 비용·결과 재현성 검증
기술 이전 형태·도입 과정
도입은 이렇게 진행됩니다.
검토 미팅
귀사 상황·데이터 구조 기준으로 적합성을 논의합니다. 자료 검토만으로 끝나도 됩니다.
PoC 공동 검증
연구팀 동행 하에 귀사 데이터 기준 재학습·성능을 확인합니다.
라이센싱 계약
PoC 결과를 기반으로 희망 형태(실시권·공동연구 등)를 협의합니다.
기술지도·후속
도입 초기 기술지도, 필요 시 후속 공동연구·정부과제 연계까지 진행합니다.
특허 정보
이미지 처리 모델의 적대적 강건성 향상을 위한 방어 방법 및 장치
DEFENSE METHOD FOR ENHANCING ADVERSARIAL ROBUSTNESS OF IMAGE PROCESSING MODEL AND APPARATUS THEREOF
10-2026-0009120 (2026.01.01)
미등록 (심사 중)
김선오, 엄대호
단국대학교 산학협력단