제 1 항에 있어서,상기 시각 데이터 및 상기 그리퍼의 촉각 데이터를 획득하는 단계;를 더 포함하는 것을 특징으로 하는 그리퍼 제어 데이터 생성 방법.

시-촉각 센서 정보의 융합 기반 그리퍼 제어 데이터 생성 방법에 있어서,상기 그리퍼가 촬영된 시각 데이터 및 상기 그리퍼의 촉각 데이터를 제1 신경망 모델에 입력해서 제1 특징맵을 출력하는 단계;출력된 제1 특징맵과 상기 그리퍼의 고유감각 데이터로부터 변환된 임베딩 벡터를 연결(concatenation)하여 제2 특징맵을 출력하는 단계; 및생성된 제2 특징맵을 제2 신경망 모델에 입력하여 상기 그리퍼의 제어 데이터를 산출하는 단계;를 포함하는 그리퍼 제어 데이터 생성 방법.

제 1 항에 있어서,상기 제1 신경망 모델은 크로스 모달 어텐션 메커니즘(Cross-modal attention mechanism)을 활용하여 상기 시각 데이터와 상기 촉각 데이터 간의 상호 작용을 모델링하여 제1 특징맵을 생성하는 것을 특징으로 하는 그리퍼 제어 데이터 생성 방법.

제 1 항에 있어서,상기 제2 신경망 모델은 상기 그리퍼의 행동을 결정하는 제1 부분 신경망 모델 및 상기 행동이 기설정된 보상을 최대화하는데 도움이 되는가를 평가하는 제2 부분 신경망 모델로 구성되는 것을 특징으로 하는 그리퍼 제어 데이터 생성 방법.

제 1 항에 있어서,상기 제2 신경망 모델은 모델은 크리틱 로스(critic loss) 함수 및 액터 로스 함수(actor loss)를 통해 제1 손실값 및 제2 손실값을 산출하고, 상기 제1 부분 신경망 모델 및 상기 제2 부분 신경망 모델은 각각 상기 제1 손실값 및 제2 손실값이 최소화되도록 학습되는 것을 특징으로 하는 그리퍼 제어 데이터 생성 방법.

제 4 항에 있어서,상기 제1 신경망 모델은 역전파(backpropagation)를 통해 제2 손실값이 최소화되도록 상기 제2 부분 신경망 모델과 함께 학습되는 것을 특징으로 하는 그리퍼 제어 데이터 생성 방법.

제 1 항에 있어서,상기 시각 데이터는 잡는 대상이 되는 객체, 상기 그리퍼가 포함된 로봇암 및 배경으로 구분된 세그멘테이션 이미지(Segmentation image)인 것을 특징으로 하는 그리퍼 제어 데이터 생성 방법.

제 1 항에 있어서,상기 고유감각 데이터는 그리퍼의 관절 위치, 그리퍼의 속도가 포함된 임베딩 벡터인 것을 특징으로 하는 그리퍼 제어 데이터 생성 방법.

시-촉각 센서 정보의 융합 기반 그리퍼 제어 데이터를 생성하는 시스템에 있어서, 상기 그리퍼가 촬영된 시각 데이터 및 상기 그리퍼의 촉각 데이터를 제1 신경망 모델에 입력해서 제1 특징맵을 출력하고, 출력된 특징맵과 상기 그리퍼의 고유감각 데이터로부터 변환된 임베딩 벡터를 연결(concatenation)하여 제2 특징맵을 생성하며, 생성된 제2 특징맵을 제2 신경망 모델에 입력하여 상기 그리퍼의 제어 데이터를 산출하는 제어 데이터 산출부;를 포함하는 그리퍼 제어 데이터 생성 시스템.

제 9 항에 있어서,상기 제1 신경망 모델은 크로스 모달 어텐션 메커니즘(cross-modal attention mechanism)을 활용하여 상기 시각 데이터와 상기 촉각 데이터 간의 상호 작용을 모델링하여 제1 특징맵을 생성하는 것을 특징으로 하는 그리퍼 제어 데이터 생성 시스템.

제 9 항에 있어서,상기 제2 신경망 모델은 상기 그리퍼의 행동을 결정하는 제1 부분 신경망 모델 및 상기 행동이 기설정된 보상을 최대화하는데 도움이 되는가를 평가하는 제2 부분 신경망 모델로 구성되는 것을 특징으로 하는 그리퍼 제어 데이터 생성 시스템.

제 9 항에 있어서,상기 제2 신경망 모델은 크리틱 로스(critic loss) 함수 및 액터 로스 함수(actor lsos)를 통해 제1 손실값 및 제2 손실값을 산출하고, 상기 제1 부분 신경망 모델 및 상기 제2 부분 신경망 모델은 각각 상기 제1 손실값 및 제2 손실값이 최소화되도록 학습되는 것을 특징으로 하는 그리퍼 제어 데이터 생성 시스템.

제 12 항에 있어서,상기 제1 신경망 모델은 역전파(backpropagation)를 통해 제2 손실값이 최소화되도록 상기 제2 부분 신경망 모델과 함께 학습되는 것을 특징으로 하는 그리퍼 제어 데이터 생성 시스템.

제 9 항에 있어서,상기 시각 데이터는 잡는 대상이 되는 객체, 상기 그리퍼가 포함된 로봇암 및 배경으로 구분된 세그멘테이션 이미지(Segmentation image)인 것을 특징으로 하는 그리퍼 제어 데이터 생성 시스템.

제 1 항 내지 제 8 항 중 어느 한 항에 따른 그리퍼 제어 데이터 생성 방법을 수행하는 프로그램이 저장된 컴퓨터 판독이 가능한 기록 매체.

제 1 항 내지 제 8항 중 어느 한 항에 따른 그리퍼 제어 데이터 생성 방법을 실행하기 위한 프로그램 코드를 포함하는 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램.