시각 정보로부터 규칙을 추론하기 위해 딥러닝 모델을 학습시키는 방법으로서,제1 규칙 이미지 정보 및 제1 정답 후보 이미지 정보를 포함하는 제1 문제 정보를 획득하는 단계;제2 문제 정보에 포함된 제2 정답 후보 이미지 정보를 이용하여, 상기 제1 문제 정보로부터 제1 정답 행렬 정보, 제1 정답 후보 행렬 정보 및 제1 오답 행렬 정보를 포함하는 제1 학습 행렬 정보를 결정하는 단계; 상기 제1 학습 행렬 정보를 기초로 제1 의사 라벨 정보를 결정하는 단계; 및상기 제1 의사 라벨 정보에 기초하여, 상기 제1 학습 행렬 정보를 입력 받아 상기 제1 정답 행렬 정보, 상기 제1 정답 후보 행렬 정보 및 상기 제1 오답 행렬 정보를 분류하도록 상기 딥러닝 모델을 학습시키는 단계를 포함하고,상기 제1 학습 행렬 정보를 결정하는 단계는,기설정된 값에 기초하여, 복수의 제1 정답 후보 이미지 패널 중 적어도 일부를 상기 제2 정답 후보 이미지 정보에 포함된 복수의 제2 정답 후보 이미지 패널 중 적어도 일부와 치환함으로써, 상기 제1 정답 후보 이미지 정보를 변경하는 단계를 포함하고,상기 제2 문제 정보는 상기 제1 문제 정보와 상이한 도메인의 시각 정보를 가지는 것을 특징으로 하는딥러닝 모델 학습 방법.

제1 항에 있어서,상기 제1 규칙 이미지 정보는 물체, 속성 및 관계에 관한 규칙을 나타내는 6개의 제1 규칙 이미지 패널을 포함하고,상기 제1 문제 정보는 상기 6개의 제1 규칙 이미지 패널을 기초로, 2개의 제1 문제 이미지 패널의 다음에 위치할 제1 타겟 이미지 패널을 추론하도록 구성되는 3X3 크기의 제1 문제 행렬을 포함하고,상기 제1 문제 행렬은 수학식 1과 같이 표현되는딥러닝 모델 학습 방법.[수학식 1](여기서, 은 제1 규칙 이미지 패널, 는 제1 문제 이미지 패널, 는 제1 타겟 이미지 패널을 의미하고, 상기 제1 문제 행렬의 각 행마다 공통된 규칙이 존재함.)

제2 항에 있어서,상기 제1 문제 행렬은 상기 제1 타겟 이미지 패널이 상기 제1 정답 후보 이미지 정보에 포함된 복수의 제1 정답 후보 이미지 패널 중 하나로 결정되도록 구성된 것인딥러닝 모델 학습 방법.

삭제

제3 항에 있어서,상기 제1 학습 행렬 정보를 결정하는 단계는,상기 제1 타겟 이미지 패널에 상기 변경된 제1 정답 후보 이미지 정보에 포함된 복수의 제1 정답 후보 이미지 패널 및 복수의 제2 정답 후보 이미지 패널을 각각 입력하여 제1 학습 행렬을 결정하는 단계를 포함하고,상기 제1 학습 행렬은 수학식 2와 같이 표현되는딥러닝 모델 학습 방법.[수학식 2](여기서, N은 상기 제1 학습 행렬의 행(row)의 수이고, 는 제1 정답 후보 이미지 패널을 의미하고, 는 제2 정답 후보 이미지 패널을 의미하고, M은 변경된 제1 정답 후보 이미지 정보에 포함된 제1 정답 후보 이미지 패널의 수를 의미하고, 1열에 존재하는 제1 문제 이미지 패널은 모두 동일하고, 2열에 존재하는 제1 문제 이미지 패널은 모두 동일함.)

제5 항에 있어서,상기 제1 의사 라벨 정보를 결정하는 단계는,상기 제1 학습 행렬에 포함된 각각의 행(row)에 대한 특징을 추출하는 단계;상기 제1 학습 행렬에 포함된 각각의 행에 대한 특징을 기초로 이진화된 하드 라벨을 결정하는 단계; 및라벨 스무딩(label smoothing)을 이용하여 상기 이진화된 하드 라벨로부터 상기 제1 정답 행렬 정보에 대한 소프트 라벨 및 상기 제1 정답 후보 행렬 정보에 대한 소프트 라벨을 포함하는 상기 제1 의사 라벨 정보를 결정하는 단계를 포함하는딥러닝 모델 학습 방법.

제6 항에 있어서,상기 딥러닝 모델을 학습시키는 단계는,상기 제1 학습 행렬에 포함된 각각의 행에 대한 특징 및 상기 제1 의사 라벨 정보를 이용하여 결정되는 손실함수를 최소화하도록 역전파를 통해 상기 딥러닝 모델을 학습시키는 단계를 포함하는딥러닝 모델 학습 방법.

제7 항에 있어서,상기 제1 정답 행렬 정보는 상기 제1 학습 행렬에 포함된 각각의 행 중 상기 제1 규칙 이미지 패널만 포함하고 있는 행에 관한 정보를 포함하고,상기 제1 정답 후보 행렬 정보는 상기 제1 학습 행렬에 포함된 각각의 행 중 상기 제1 정답 후보 이미지 패널을 포함하고 있는 행에 관한 정보를 포함하고,상기 제1 오답 행렬 정보는 상기 제1 학습 행렬에 포함된 각각의 행 중 상기 제2 정답 후보 이미지 패널을 포함하고 있는 행에 관한 정보를 포함하는딥러닝 모델 학습 방법.

사전 학습된 딥러닝 모델을 이용한 시각 추론 방법으로서,규칙 이미지 정보 및 정답 후보 이미지 정보를 포함하는 문제 정보를 획득하는 단계; 및사전 학습된 딥러닝 모델을 이용하여 상기 정답 후보 이미지 정보에 포함된 정답 후보 이미지 패널 중에서 타겟 이미지 패널에 대응되는 패널을 결정하는 단계를 포함하고,상기 딥러닝 모델은,제1 규칙 이미지 정보 및 제1 정답 후보 이미지 정보를 포함하는 제1 문제 정보를 획득하는 단계;제2 문제 정보에 포함된 제2 정답 후보 이미지 정보를 이용하여, 상기 제1 문제 정보로부터 제1 정답 행렬 정보, 제1 정답 후보 행렬 정보 및 제1 오답 행렬 정보를 포함하는 제1 학습 행렬 정보를 결정하는 단계;상기 제1 학습 행렬 정보를 기초로 제1 의사 라벨 정보를 결정하는 단계; 및상기 제1 의사 라벨 정보에 기초하여, 상기 제1 학습 행렬 정보를 입력 받아 상기 제1 정답 행렬 정보, 상기 제1 정답 후보 행렬 정보 및 상기 제1 오답 행렬 정보를 분류하도록 상기 딥러닝 모델을 학습시키는 단계를 포함하고,상기 제1 학습 행렬 정보를 결정하는 단계는,기설정된 값에 기초하여, 복수의 제1 정답 후보 이미지 패널 중 적어도 일부를 상기 제2 정답 후보 이미지 정보에 포함된 복수의 제2 정답 후보 이미지 패널 중 적어도 일부와 치환함으로써, 상기 제1 정답 후보 이미지 정보를 변경하는 단계를 포함하고,상기 제2 문제 정보는 상기 제1 문제 정보와 상이한 도메인의 시각 정보를 가지는 것을 특징으로 하는 학습 과정에 의해 사전 학습된 것인시각 추론 방법.

시각 정보로부터 규칙을 추론하기 위해 딥러닝 모델을 학습시키는 장치로서,딥러닝 모델 학습 프로그램이 저장된 메모리; 및상기 메모리에서 상기 딥러닝 모델 학습 프로그램을 로드하여, 상기 딥러닝 모델 학습 프로그램을 실행하는 프로세서를 포함하고,상기 프로세서는,제1 규칙 이미지 정보 및 제1 정답 후보 이미지 정보를 포함하는 제1 문제 정보를 획득하고,제2 문제 정보에 포함된 제2 정답 후보 이미지 정보를 이용하여, 상기 제1 문제 정보로부터 제1 정답 행렬 정보, 제1 정답 후보 행렬 정보 및 제1 오답 행렬 정보를 포함하는 제1 학습 행렬 정보를 결정하고,상기 제1 학습 행렬 정보를 기초로 제1 의사 라벨 정보를 결정하고,상기 제1 의사 라벨 정보에 기초하여, 상기 제1 학습 행렬 정보를 입력 받아 상기 제1 정답 행렬 정보, 상기 제1 정답 후보 행렬 정보 및 상기 제1 오답 행렬 정보를 분류하도록 상기 딥러닝 모델을 학습시키되,상기 프로세서는,기설정된 값에 기초하여, 복수의 제1 정답 후보 이미지 패널 중 적어도 일부를 상기 제2 정답 후보 이미지 정보에 포함된 복수의 제2 정답 후보 이미지 패널 중 적어도 일부와 치환함으로써, 상기 제1 정답 후보 이미지 정보를 변경하고,상기 제2 문제 정보는 상기 제1 문제 정보와 상이한 도메인의 시각 정보를 가지는 것을 특징으로 하는딥러닝 모델 학습 장치.

제10 항에 있어서,상기 제1 규칙 이미지 정보는 물체, 속성 및 관계에 관한 규칙을 나타내는 6개의 제1 규칙 이미지 패널을 포함하고,상기 제1 문제 정보는 상기 6개의 제1 규칙 이미지 패널을 기초로, 2개의 제1 문제 이미지 패널의 다음에 위치할 제1 타겟 이미지 패널을 추론하도록 구성되는 3X3 크기의 제1 문제 행렬을 포함하고,상기 제1 문제 행렬은 수학식 1과 같이 표현되는딥러닝 모델 학습 장치.[수학식 1](여기서, 은 제1 규칙 이미지 패널, 는 제1 문제 이미지 패널, 는 제1 타겟 이미지 패널을 의미하고, 상기 제1 문제 행렬의 각 행마다 공통된 규칙이 존재함.)

제11 항에 있어서,상기 제1 문제 행렬은 상기 제1 타겟 이미지 패널이 상기 제1 정답 후보 이미지 정보에 포함된 복수의 제1 정답 후보 이미지 패널 중 하나로 결정되도록 구성된 것인딥러닝 모델 학습 장치.

삭제

제12 항에 있어서,상기 프로세서는,상기 제1 타겟 이미지 패널에 상기 변경된 제1 정답 후보 이미지 정보에 포함된 복수의 제1 정답 후보 이미지 패널 및 복수의 제2 정답 후보 이미지 패널을 각각 입력하여 제1 학습 행렬을 결정하고,상기 제1 학습 행렬은 수학식 2와 같이 표현되는딥러닝 모델 학습 장치.[수학식 2](여기서, N은 상기 제1 학습 행렬의 행(row)의 수이고, 는 제1 정답 후보 이미지 패널을 의미하고, 는 제2 정답 후보 이미지 패널을 의미하고, M은 변경된 제1 정답 후보 이미지 정보에 포함된 제1 정답 후보 이미지 패널의 수를 의미하고, 1열에 존재하는 제1 문제 이미지 패널은 모두 동일하고, 2열에 존재하는 제1 문제 이미지 패널은 모두 동일함.)

제14 항에 있어서,상기 프로세서는,상기 제1 학습 행렬에 포함된 각각의 행(row)에 대한 특징을 추출하고,상기 제1 학습 행렬에 포함된 각각의 행에 대한 특징을 기초로 이진화된 하드 라벨을 결정하고,라벨 스무딩(label smoothing)을 이용하여 상기 이진화된 하드 라벨로부터 상기 제1 정답 행렬 정보에 대한 소프트 라벨 및 상기 제1 정답 후보 행렬 정보에 대한 소프트 라벨을 포함하는 상기 제1 의사 라벨 정보를 결정하는딥러닝 모델 학습 장치.

제15 항에 있어서,상기 프로세서는,상기 제1 학습 행렬에 포함된 각각의 행에 대한 특징 및 상기 제1 의사 라벨 정보를 이용하여 결정되는 손실함수를 최소화하도록 역전파를 통해 상기 딥러닝 모델을 학습시키는딥러닝 모델 학습 장치.

제16 항에 있어서,상기 제1 정답 행렬 정보는 상기 제1 학습 행렬에 포함된 각각의 행 중 상기 제1 규칙 이미지 패널만 포함하고 있는 행에 관한 정보를 포함하고,상기 제1 정답 후보 행렬 정보는 상기 제1 학습 행렬에 포함된 각각의 행 중 상기 제1 정답 후보 이미지 패널을 포함하고 있는 행에 관한 정보를 포함하고,상기 제1 오답 행렬 정보는 상기 제1 학습 행렬에 포함된 각각의 행 중 상기 제2 정답 후보 이미지 패널을 포함하고 있는 행에 관한 정보를 포함하는딥러닝 모델 학습 장치.

사전 학습된 딥러닝 모델을 이용한 시각 추론 장치로서,시각 추론 프로그램이 저장된 메모리; 및상기 메모리에서 상기 시각 추론 프로그램을 로드하여, 상기 시각 추론 프로그램을 실행하는 프로세서를 포함하고,상기 프로세서는,규칙 이미지 정보 및 정답 후보 이미지 정보를 포함하는 문제 정보를 입력 받고,사전 학습된 딥러닝 모델을 이용하여 상기 정답 후보 이미지 정보에 포함된 정답 후보 이미지 패널 중에서 타겟 이미지 패널에 대응되는 패널을 결정하되,상기 딥러닝 모델은,제1 규칙 이미지 정보 및 제1 정답 후보 이미지 정보를 포함하는 제1 문제 정보를 획득하는 단계;제2 문제 정보에 포함된 제2 정답 후보 이미지 정보를 이용하여, 상기 제1 문제 정보로부터 제1 정답 행렬 정보, 제1 정답 후보 행렬 정보 및 제1 오답 행렬 정보를 포함하는 제1 학습 행렬 정보를 결정하는 단계;상기 제1 학습 행렬 정보를 기초로 제1 의사 라벨 정보를 결정하는 단계; 및상기 제1 의사 라벨 정보에 기초하여, 상기 제1 학습 행렬 정보를 입력 받아 상기 제1 정답 행렬 정보, 상기 제1 정답 후보 행렬 정보 및 상기 제1 오답 행렬 정보를 분류하도록 상기 딥러닝 모델을 학습시키는 단계를 포함하고,상기 제1 학습 행렬 정보를 결정하는 단계는,기설정된 값에 기초하여, 복수의 제1 정답 후보 이미지 패널 중 적어도 일부를 상기 제2 정답 후보 이미지 정보에 포함된 복수의 제2 정답 후보 이미지 패널 중 적어도 일부와 치환함으로써, 상기 제1 정답 후보 이미지 정보를 변경하는 단계를 포함하고,상기 제2 문제 정보는 상기 제1 문제 정보와 상이한 도메인의 시각 정보를 가지는 것을 특징으로 하는 학습 과정에 의해 사전 학습된 것인시각 추론 장치.

컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,제1 규칙 이미지 정보 및 제1 정답 후보 이미지 정보를 포함하는 제1 문제 정보를 획득하는 단계;제2 문제 정보에 포함된 제2 정답 후보 이미지 정보를 이용하여, 상기 제1 문제 정보로부터 제1 정답 행렬 정보, 제1 정답 후보 행렬 정보 및 제1 오답 행렬 정보를 포함하는 제1 학습 행렬 정보를 결정하는 단계;상기 제1 학습 행렬 정보를 기초로 제1 의사 라벨 정보를 결정하는 단계; 및상기 제1 의사 라벨 정보에 기초하여, 상기 제1 학습 행렬 정보를 입력 받아 상기 제1 정답 행렬 정보, 상기 제1 정답 후보 행렬 정보 및 상기 제1 오답 행렬 정보를 분류하도록 딥러닝 모델을 학습시키는 단계를 포함하고,상기 제1 학습 행렬 정보를 결정하는 단계는,기설정된 값에 기초하여, 복수의 제1 정답 후보 이미지 패널 중 적어도 일부를 상기 제2 정답 후보 이미지 정보에 포함된 복수의 제2 정답 후보 이미지 패널 중 적어도 일부와 치환함으로써, 상기 제1 정답 후보 이미지 정보를 변경하는 단계를 포함하고,상기 제2 문제 정보는 상기 제1 문제 정보와 상이한 도메인의 시각 정보를 가지는 것을 특징으로 하는시각 정보로부터 규칙을 추론하기 위해 딥러닝 모델을 학습시키는 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는컴퓨터 판독 가능한 기록매체.

컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,제1 규칙 이미지 정보 및 제1 정답 후보 이미지 정보를 포함하는 제1 문제 정보를 획득하는 단계;제2 문제 정보에 포함된 제2 정답 후보 이미지 정보를 이용하여, 상기 제1 문제 정보로부터 제1 정답 행렬 정보, 제1 정답 후보 행렬 정보 및 제1 오답 행렬 정보를 포함하는 제1 학습 행렬 정보를 결정하는 단계;상기 제1 학습 행렬 정보를 기초로 제1 의사 라벨 정보를 결정하는 단계; 및상기 제1 의사 라벨 정보에 기초하여, 상기 제1 학습 행렬 정보를 입력 받아 상기 제1 정답 행렬 정보, 상기 제1 정답 후보 행렬 정보 및 상기 제1 오답 행렬 정보를 분류하도록 딥러닝 모델을 학습시키는 단계를 포함하고,상기 제1 학습 행렬 정보를 결정하는 단계는,기설정된 값에 기초하여, 복수의 제1 정답 후보 이미지 패널 중 적어도 일부를 상기 제2 정답 후보 이미지 정보에 포함된 복수의 제2 정답 후보 이미지 패널 중 적어도 일부와 치환함으로써, 상기 제1 정답 후보 이미지 정보를 변경하는 단계를 포함하고,상기 제2 문제 정보는 상기 제1 문제 정보와 상이한 도메인의 시각 정보를 가지는 것을 특징으로 하는시각 정보로부터 규칙을 추론하기 위해 딥러닝 모델을 학습시키는 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는컴퓨터 프로그램.