특허 개요
본 특허는 이미지의 신뢰도를 평가해 판단 기준을 조정하는 비전-언어 모델 추론 방법 및 장치입니다. 원본 이미지와 기하학적 변환으로 만든 증강 이미지에 확률적 변환을 적용하고, 예측 분포가 유지되는 정도인 안정성과 특징 공간에서 다른 이미지들과 모이는 정도인 적합성을 결합해 신뢰도 가중치를 산출합니다. 이 가중치를 이용해 테스트 단계에서 학습 가능한 텍스트 프롬프트를 갱신하고, 이미지별 예측을 가중 합산하여 최종 클래스를 결정합니다.
- 핵심 기능
원본·증강 이미지와 확률적 변형 이미지의 예측 분포 및 특징 벡터를 비교해 안정성·적합성 점수와 신뢰도 가중치를 계산합니다. 예측 불확실성을 줄이는 엔트로피 손실과 신뢰도 기반 기준 분포에 맞추는 일관성 손실로 텍스트 프롬프트를 갱신한 뒤, 이미지별 예측 확률을 신뢰도에 따라 합산합니다.
- 차별 강점
기존 테스트 단계 적응은 많은 증강 이미지를 처리하면서 연산비용이 증가하고, 이미지 수를 줄이면 오염되거나 교란된 이미지의 영향이 커지는 한계가 있었습니다. 본 특허는 안정성과 적합성을 결합한 이미지별 신뢰도를 프롬프트 갱신과 최종 예측에 함께 적용해, 제한된 증강 이미지 환경에서 오염 이미지의 영향을 낮추는 점이 차별점입니다.
- 활용 범위
기술·연구 측면에서는 적대적 공격 대응 이미지 분류, 분포 변화 환경의 제로샷 인식, 레이블 없는 현장 데이터 기반 모델 적응에 활용 가능합니다. 사업 측면에서는 비전-언어 모델 기반 이미지 인식 서비스, 지능형 영상 분석의 이미지 분류 모듈, 멀티모달 AI 추론 서비스로 확장할 수 있습니다.
연구 개발 단계
CLIP-ResNet50 및 CLIP-ViT-B/16 기반으로 공개 이미지 데이터셋의 정상 입력·분포 변화·적대적 공격 조건에서 기존 추론 및 테스트 단계 적응 방식과 비교했습니다. 검증 범위는 공개 데이터셋과 해당 모델 구조에 한정되며, 다른 모델과 실제 서비스 영상 데이터 및 대규모 배포 환경에서의 성능은 추가 확인이 필요합니다.
- 모델·데이터셋: CLIP-ResNet50·CLIP-ViT-B/16, SUN397·Food101·Caltech101 등 세부 분류 데이터셋과 ImageNet·ImageNet-A·V2·R·S
- 비교 방식: 고정 프롬프트 CLIP, 엔트로피 최소화 TPT, R-TPT, Mean-Shift, 단순 증강 평균, 테스트 단계 역공격
- 실행·공격 조건: NVIDIA A100 GPU 및 PyTorch, 레이블 없는 이미지, 증강 이미지 15개와 원본을 포함한 총 16개, PGD 공격 섭동 크기 ε=1.0
현재 성과
공개 세부 분류 데이터셋에서 적대적 공격을 적용했을 때의 평균 분류 정확도입니다. 동일 평가에서 비교예3은 40.4%로 보고되어, 해당 실험 조건에서 교란된 입력에 대한 방어 성능 개선을 확인했습니다.
NVIDIA A100 GPU 기반 평가에서 증강 이미지 15개를 사용한 Caltech101 실험의 이미지당 처리 시간입니다. 같은 실험에서 적대적 강건성은 81.0%로 보고됐으며, 실제 서비스 장비와 입력 데이터에서의 지연시간·처리량은 별도 PoC로 확인해야 합니다.
확률적 변환 전후의 예측 일관성과 특징 공간의 밀집도·거리를 함께 평가해 이미지별 신뢰도를 정합니다. 이 신뢰도를 텍스트 프롬프트 갱신과 최종 예측의 가중 앙상블에 공통 적용하는 구조가, 이미지 품질 평가 없이 다수 증강에 의존하는 기존 방식과 구별됩니다.
상용화까지 남은 부분
CLIP-ResNet50·CLIP-ViT-B/16 이외의 비전-언어 모델 구조에서 적응 효과와 강건성 재현 검증
실제 서비스 영상 데이터와 현장 분포 변화 조건에서 분류 정확도 및 교란 대응 성능 검증
대규모 배포 환경에서 장비별 지연시간·처리량과 장기 운영 재현성 검증
기술 이전 형태·도입 과정
도입은 이렇게 진행됩니다.
검토 미팅
귀사 상황·데이터 구조 기준으로 적합성을 논의합니다. 자료 검토만으로 끝나도 됩니다.
PoC 공동 검증
연구팀 동행 하에 귀사 데이터 기준 재학습·성능을 확인합니다.
라이센싱 계약
PoC 결과를 기반으로 희망 형태(실시권·공동연구 등)를 협의합니다.
기술지도·후속
도입 초기 기술지도, 필요 시 후속 공동연구·정부과제 연계까지 진행합니다.
특허 정보
비전-언어 모델을 이용한 추론 방법 및 장치
METHOD FOR INFERENCE USING VISION-LANGUAGE MODEL AND APPARATUS THEREOF
10-2025-0184371 (2025.01.01)
미등록 (심사 중)
김선오, 엄대호
단국대학교 산학협력단