제1항에 있어서, 상기 제4 단계는, 각 패치 특징 토큰에 대해 레이어 정규화를 적용하는 단계; 정규화된 패치 특징 토큰에 1차원 컨볼루션을 적용하는 단계; 및 컨볼루션 결과에 시그모이드 활성화 함수를 적용하여 0과 1 사이의 프롬프트 강도 값을 산출하는 단계; 를 더 포함하는 블랙박스 모델 환경에서의 적응적 시각 프롬프팅 방법.

입력 이미지를 복수의 이미지 패치로 분할하는 제1 단계;비전 트랜스포머의 인코더를 통해 상기 각 이미지 패치로부터 패치 특징 토큰과, 상기 입력 이미지 전체로부터 CLS 토큰을 각각 추출하는 제2 단계;상기 비전 트랜스포머의 디코더를 통해 상기 CLS 토큰과 학습 가능한 트리거 벡터가 결합된 입력 벡터로부터 프롬프트를 생성하는 제3 단계;상기 패치 특징 토큰을 이용하여 각 이미지 패치에 대한 개별적인 프롬프트 강도를 계산하는 제4 단계;상기 생성된 프롬프트와 계산된 프롬프트 강도를 이용하여 각 이미지 패치에 대해 개별적으로 프롬프트를 적용하는 제5 단계;를 포함하는, 블랙박스 모델 환경에서의 적응적 시각 프롬프팅 방법.

제1항에 있어서,상기 패치 특징 토큰은,상기 이미지 패치를 위치 인코딩을 더해 위치 정보를 포함하는 임베딩을 생성하고, 생싱된 임베딩 시퀀스를 L개의 트랜스포머 블록에 순차적으로 통과시켜 생성되는,블랙박스 모델 환경에서의 적응적 시각 프롬프팅 방법.

제2항에 있어서,상기 CLS 토큰은,상기 이미지 패치 시퀀스의 맨 앞에 CLS 토큰을 추가하고, 상기 CLS 토큰이 포함된 전체 시퀀스를 트랜스포머 인코더의 여러 층을 통과시켜서, 마지막 트랜스포머 층의 출력에서 첫 번째 위치의 토큰을 최종 CLS 토큰으로 사용하는,블랙박스 모델 환경에서의 적응적 시각 프롬프팅 방법.

제1항에 있어서, 상기 제5 단계는,P'ij = Pij + Iij * Prij에 기초해서 각 이미지 패치에 대해 개별적으로 프롬프트를 적용하며, Pij = 각 이미지 패치, Prij = 대응하는 프롬프트 패치, Iij = 프롬프트 강도, P'ij = 프롬프트가 적용된 새로운 이미지 패치인,블랙박스 모델 환경에서의 적응적 시각 프롬프팅 방법.

블랙박스 모델 환경에서 입력 이미지에 대해 적응적으로 시각 프롬프팅하는 (A) 단계와,상기 (A) 단계를 통해 구해진 프롬프트가 적용된 이미지를 기반으로 상기 블랙박스 모델을 학습시키는 (B) 단계를 포함하고,상기 (A) 단계는,입력 이미지를 복수의 이미지 패치로 분할하는 제1 단계;비전 트랜스포머의 인코더를 통해 상기 각 이미지 패치로부터 패치 특징 토큰과, 상기 입력 이미지 전체로부터 CLS 토큰을 각각 추출하는 제2 단계;상기 비전 트랜스포머의 디코더를 통해 상기 CLS 토큰과 학습 가능한 트리거 벡터가 결합된 입력 벡터로부터 프롬프트를 생성하는 제3 단계;상기 패치 특징 토큰을 이용하여 각 이미지 패치에 대한 개별적인 프롬프트 강도를 계산하는 제4 단계;상기 생성된 프롬프트와 계산된 프롬프트 강도를 이용하여 각 이미지 패치에 대해 개별적으로 프롬프트를 적용하는 제5 단계;를 포함하는, 블랙박스 모델의 학습 방법.

제6항에 있어서,상기 패치 특징 토큰은,상기 이미지 패치를 위치 인코딩을 더해 위치 정보를 포함하는 임베딩을 생성하고, 생싱된 임베딩 시퀀스를 L개의 트랜스포머 블록에 순차적으로 통과시켜 생성되는,블랙박스 모델의 학습 방법.

제7항에 있어서,상기 CLS 토큰은,상기 이미지 패치 시퀀스의 맨 앞에 CLS 토큰을 추가하고, 상기 CLS 토큰이 포함된 전체 시퀀스를 트랜스포머 인코더의 여러 층을 통과시켜서, 마지막 트랜스포머 층의 출력에서 첫 번째 위치의 토큰을 최종 CLS 토큰으로 사용하는,블랙박스 모델의 학습 방법.

제6항에 있어서, 상기 제4 단계는, 각 패치 특징 토큰에 대해 레이어 정규화를 적용하는 단계; 정규화된 패치 특징 토큰에 1차원 컨볼루션을 적용하는 단계; 및 컨볼루션 결과에 시그모이드 활성화 함수를 적용하여 0과 1 사이의 프롬프트 강도 값을 산출하는 단계; 를 더 포함하는 블랙박스 모델의 학습 방법.

제6항에 있어서, 상기 제5 단계는,P'ij = Pij + Iij * Prij에 기초해서 각 이미지 패치에 대해 개별적으로 프롬프트를 적용하며, Pij = 각 이미지 패치, Prij = 대응하는 프롬프트 패치, Iij = 프롬프트 강도, P'ij = 프롬프트가 적용된 새로운 이미지 패치인,블랙박스 모델의 학습 방법.

제6항에 있어서, 상기 블랙박스 모델의 출력 결과에 기초해 상기 트리거 벡터, 디코더, 및 프롬프트 강도 계산에 사용되는 파라미터들을 학습하는 제6 단계;를 더 포함하는, 블랙박스 모델의 학습 방법.

블랙박스 모델 환경에서 입력 이미지에 대해 적응적으로 시각 프롬프팅하는 (A) 단계;상기 (A) 단계를 통해 구해진 프롬프트가 적용된 이미지를 기반으로 상기 블랙박스 모델을 학습시키는 (B) 단계;상기 (B) 단계를 통해 학습된 상기 블랙박스 모델에 이미지를 입력해서 그 결과를 추론하는 (C) 단계,를 포함하고,상기 (A) 단계는,입력 이미지를 복수의 이미지 패치로 분할하는 제1 단계;비전 트랜스포머의 인코더를 통해 상기 각 이미지 패치로부터 패치 특징 토큰과, 상기 입력 이미지 전체로부터 CLS 토큰을 각각 추출하는 제2 단계;상기 비전 트랜스포머의 디코더를 통해 상기 CLS 토큰과 학습 가능한 트리거 벡터가 결합된 입력 벡터로부터 프롬프트를 생성하는 제3 단계;상기 패치 특징 토큰을 이용하여 각 이미지 패치에 대한 개별적인 프롬프트 강도를 계산하는 제4 단계;상기 생성된 프롬프트와 계산된 프롬프트 강도를 이용하여 각 이미지 패치에 대해 개별적으로 프롬프트를 적용하는 제5 단계;를 포함하는, 블랙박스 모델의 추론 방법.

제12항에 있어서,상기 패치 특징 토큰은,상기 이미지 패치를 위치 인코딩을 더해 위치 정보를 포함하는 임베딩을 생성하고, 생싱된 임베딩 시퀀스를 L개의 트랜스포머 블록에 순차적으로 통과시켜 생성되는,블랙박스 모델의 추론 방법.

제13항에 있어서,상기 CLS 토큰은,상기 이미지 패치 시퀀스의 맨 앞에 CLS 토큰을 추가하고, 상기 CLS 토큰이 포함된 전체 시퀀스를 트랜스포머 인코더의 여러 층을 통과시켜서, 마지막 트랜스포머 층의 출력에서 첫 번째 위치의 토큰을 최종 CLS 토큰으로 사용하는,블랙박스 모델의 추론 방법.

제12항에 있어서, 상기 제4 단계는, 각 패치 특징 토큰에 대해 레이어 정규화를 적용하는 단계; 정규화된 패치 특징 토큰에 1차원 컨볼루션을 적용하는 단계; 및 컨볼루션 결과에 시그모이드 활성화 함수를 적용하여 0과 1 사이의 프롬프트 강도 값을 산출하는 단계; 를 더 포함하는 블랙박스 모델의 추론 방법.

제12항에 있어서, 상기 제5 단계는,P'ij = Pij + Iij * Prij에 기초해서 각 이미지 패치에 대해 개별적으로 프롬프트를 적용하며, Pij = 각 이미지 패치, Prij = 대응하는 프롬프트 패치, Iij = 프롬프트 강도, P'ij = 프롬프트가 적용된 새로운 이미지 패치인,블랙박스 모델의 추론 방법.

제1항 내지 제5항 중 어느 한 항에 기재된 블랙박스 모델 환경에서의 적응적 시각 프롬프팅 방법을 컴퓨터가 읽을 수 있도록 코딩된 프로그램을 기록한 기록 매체.

블랙박스 모델 환경에서의 적응적 시각 프롬프팅 방법을 컴퓨터가 읽을 수 있도록 코딩된 프로그램을 저장하는 메모리; 및상기 프로그램을 실행하는 프로세서;를 포함하고,상기 블랙박스 모델 환경에서의 적응적 시각 프롬프팅 방법은 상기 제1 제1항 내지 제5항 중 어느 한 항에 기재된 바인, 연산 장치.