특허 개요
본 특허는 인공지능 모델이 교란된 입력에도 안정적으로 판단하도록 돕는 FSR(특징 분리 및 재보정) 모듈입니다. 입력 특징 맵에서 강인성 점수를 산출하고, 검벨 소프트맥스(Gumbel-Softmax) 기반의 차별 가능한 소프트 마스크와 이진 마스크로 강인 특징과 비강인 특징을 분리합니다. 이후 재보정 네트워크가 비강인 특징의 활성화를 조정해 유용한 신호를 복원하고, 이를 강인 특징과 요소별 결합하여 출력 특징 맵을 생성합니다.
- 핵심 기능
분리 네트워크가 입력 특징 맵별 강인성 맵을 생성하고, 양·음 마스크를 적용해 강인 특징과 비강인 특징을 요소별로 분리합니다. 재보정 네트워크가 비강인 특징의 활성도를 조정한 뒤 강인 특징과 결합해, 후속 분류 모델이 사용할 출력 특징 맵을 생성합니다.
- 차별 강점
기존 특징 공간 방어 기법은 공격에 취약한 활성화를 비활성화하거나 제거하는 방식이어서, 분류에 필요한 유용한 신호도 함께 손실될 수 있습니다. 본 특허는 비강인 특징을 폐기하지 않고 재보정해 활용함으로써, 적대적 훈련의 강인성과 판별 신호 보존을 함께 추구하는 점이 차별점입니다.
- 활용 범위
기술·연구 측면에서는 적대적 공격 방어 AI, 컴퓨터 비전 모델, 적대적 훈련 및 AI 신뢰성 평가 분야에 활용 가능하며, 자율주행 인지와 생체인식 모델의 보안성 검토로 확장할 수 있습니다. 사업 측면에서는 보안 요구사항이 높은 영상 분석, 출입 인증, 자율 시스템 및 AI 기반 의사결정 서비스의 모델 방어 기능으로 활용할 수 있습니다.
연구 개발 단계
FSR 모듈을 적용한 적대적 훈련 모델을 대상으로 CIFAR-10 및 SVHN에서 복수 공격 기법에 대한 분류 정확도를 평가하고, AT·TRADES·MART 등 FSR 미적용 방식과 비교했습니다. 대규모·다양한 실제 서비스 데이터와 모델 아키텍처별 재현성, 지연시간·연산자원 및 장기 운영 환경의 보안 성능은 추가 검증이 필요합니다.
- 평가 모델: FSR 모듈을 적용한 적대적 훈련 모델
- 비교 방식: AT·TRADES·MART 등 적대적 훈련 기법 및 FSR 미적용 방식
- 평가 조건: CIFAR-10·SVHN 데이터셋에서 FGSM·PGD-20·PGD-100·C&W·Ensemble 공격별 분류 정확도 평가
현재 성과
FSR 적용 시 기존 적대적 훈련 방법의 강인성이 최대 8.57% 향상된 결과가 제시되었습니다. 비강인 활성화를 단순 제거하지 않고 재보정하여 차별적 신호를 보존하는 구조를 통해 공격 조건에서의 모델 견고성 향상을 목표로 합니다.
CIFAR-10 및 SVHN 데이터셋에서 FGSM, PGD-20, PGD-100, C&W, Ensemble 공격을 적용해 분류 정확도를 평가했습니다. AT, TRADES, MART 등 다양한 적대적 훈련 기법과 FSR 미적용 방식을 비교 대상으로 사용했습니다.
기존 FD, CAS, CIFS 계열 기법은 강인하지 않은 활성화를 비활성화하는 접근을 사용합니다. 본 특허는 강인성 점수로 특징을 분리한 뒤 비강인 특징을 재보정하고 강인 특징과 결합하는 FSR 구조를 제안합니다. 이를 통해 취약 특징에 포함된 유용한 판별 신호를 활용하는 점이 차별점입니다.
상용화까지 남은 부분
대규모·다양한 실제 서비스 데이터에서의 적대적 공격 방어 성능 검증
서로 다른 모델 아키텍처와 적용 계층 구성에 따른 재현성 및 성능 영향 검증
서비스 환경의 지연시간·연산자원 제약과 장기 운영 상황에서의 보안 성능 검증
기술 이전 형태·도입 과정
도입은 이렇게 진행됩니다.
검토 미팅
귀사 상황·데이터 구조 기준으로 적합성을 논의합니다. 자료 검토만으로 끝나도 됩니다.
PoC 공동 검증
연구팀 동행 하에 귀사 데이터 기준 재학습·성능을 확인합니다.
라이센싱 계약
PoC 결과를 기반으로 희망 형태(실시권·공동연구 등)를 협의합니다.
기술지도·후속
도입 초기 기술지도, 필요 시 후속 공동연구·정부과제 연계까지 진행합니다.
특허 정보
적대적 강인성을 위한 특징 분리 및 재보정 방법 및 시스템
10-2024-0002170 (2024.01.05)
1020250025295 (2025.02.21)
미등록 (심사 중)
윤성의 (한국과학기술원), 김우재 (한국과학기술원), 조윤기 (한국과학기술원), 정준식 (한국과학기술원)
한국과학기술원