생성적 검색을 위해 딥러닝 모델을 학습시키는 방법 및 기 학습된 딥러닝 모델을 이용하여 질의 추론을 수행하는 장치
METHOD FOR TRAINING DEEP LEARNING MODEL FOR GENERATIVE RETRIEVAL AND APPARATUS FOR PERFORMING QUERY INFERENCE USING PRE-TRAINED DEEP LEARNING MODEL
특허 요약
본 발명의 일 실시예에 따른 생성적 검색을 위해 딥러닝 모델을 학습시키는 방법은, 적어도 두 개의 문서를 입력 받아 상기 적어도 두 개의 문서 각각에 대한 어휘 식별자를 생성하도록 상기 딥러닝 모델을 1차 학습시키는 단계; 및 질의, 상기 질의와 연관된 관련 문서 및 상기 질의와 연관되지 않은 비관련 문서를 입력 받아 상기 어휘 식별자의 가중치를 결정하도록 상기 딥러닝 모델을 2차 학습시키는 단계를 포함할 수 있다.
청구항
번호청구항
1

생성적 검색을 위해 딥러닝 모델을 학습시키는 방법으로서,적어도 두 개의 문서를 입력 받아 상기 적어도 두 개의 문서 각각에 대한 어휘 식별자를 생성하도록 상기 딥러닝 모델을 1차 학습시키는 단계; 및질의, 상기 질의와 연관된 관련 문서 및 상기 질의와 연관되지 않은 비관련 문서를 입력 받아 상기 어휘 식별자의 가중치를 결정하도록 상기 딥러닝 모델을 2차 학습시키는 단계를 포함하는딥러닝 모델 학습 방법.

2

제1 항에 있어서,상기 딥러닝 모델을 1차 학습시키는 단계는,상기 적어도 두 개의 문서에 포함된 단어의 빈도 수를 고려하여 상기 적어도 두 개의 문서 각각에 대한 적어도 두 개의 키워드를 추출하는 단계; 및상기 적어도 두 개의 키워드 중 상위 n개(n은 자연수)의 키워드를 상기 어휘 식별자로 생성하도록 상기 딥러닝 모델을 학습시키는 단계를 포함하는딥러닝 모델 학습 방법.

3

제1 항에 있어서,상기 딥러닝 모델을 1차 학습시키는 단계는,상기 질의를 입력 받아 상기 관련 문서에 포함된 단어의 빈도 수를 고려하여 상기 관련 문서에 대한 적어도 두 개의 키워드를 추출하는 단계; 및상기 적어도 두 개의 키워드 중 상위 n개(n은 자연수)의 키워드를 상기 관련 문서에 대한 어휘 식별자로 생성하도록 상기 딥러닝 모델을 학습시키는 단계를 더 포함하는딥러닝 모델 학습 방법.

4

제1 항에 있어서,상기 딥러닝 모델을 1차 학습시키는 단계는,사전 학습된 언어 모델을 이용하여 상기 딥러닝 모델을 전이 학습시키는 단계; 및상기 전이 학습된 딥러닝 모델을 통해 생성되는 상기 어휘 식별자에 기초하여 결정되는 제1 손실함수를 최소화하도록 상기 딥러닝 모델을 학습시키는 단계를 포함하는딥러닝 모델 학습 방법.

5

제1 항에 있어서,상기 딥러닝 모델을 2차 학습시키는 단계는,상기 딥러닝 모델을 이용하여 상기 질의에 관한 제1 임베딩 벡터, 상기 관련 문서에 관한 제2 임베딩 벡터 및 상기 비관련 문서에 관한 제3 임베딩 벡터를 결정하는 단계; 및임베딩 공간에서 상기 제1 임베딩 벡터, 상기 제2 임베딩 벡터 및 상기 제3 임베딩 벡터에 대한 연산에 기초하여, 상기 어휘 식별자의 가중치를 결정하도록 상기 딥러닝 모델을 학습시키는 단계를 포함하는딥러닝 모델 학습 방법.

6

제5 항에 있어서,상기 제1 임베딩 벡터 및 상기 제2 임베딩 벡터 간의 유사도는 제1 임계값을 초과하도록 연산되고,상기 제1 임베딩 벡터 및 상기 제3 임베딩 벡터 간의 유사도는 제2 임계값 미만이 되도록 연산되는딥러닝 모델 학습 방법.

7

제1 항에 있어서,상기 비관련 문서는,상기 관련 문서에 대한 어휘 식별자와 접두사(prefix)가 동일한 어휘 식별자를 가지는 문서인딥러닝 모델 학습 방법.

8

제1 항에 있어서,상기 딥러닝 모델을 2차 학습시키는 단계는,상기 질의와 상기 관련 문서 사이의 제1 연관성 점수와 상기 질의와 상기 비관련 문서 사이의 제2 연관성 점수를 기초로 결정되는 제2 손실함수를 최소화하도록 상기 딥러닝 모델을 학습시키는 단계를 포함하는딥러닝 모델 학습 방법.

9

제1 항에 있어서,상기 딥러닝 모델을 2차 학습시키는 단계는,상기 질의와 상기 관련 문서를 매핑시키기 위한 제3 손실함수를 최소화하도록 상기 딥러닝 모델을 학습시키는 단계를 포함하는딥러닝 모델 학습 방법.

10

생성적 검색을 위해 기 학습된 딥러닝 모델을 이용하여 질의 추론을 수행하는 방법으로서,적어도 두 개의 문서를 상기 기 학습된 딥러닝 모델에 입력하여 상기 적어도 두 개의 문서 각각에 대한 어휘 식별자를 생성하는 단계;대상 질의를 상기 기 학습된 딥러닝 모델에 입력하여 대상 어휘 식별자 및 상기 대상 어휘 식별자의 가중치를 출력하는 단계; 및상기 대상 어휘 식별자 및 상기 대상 어휘 식별자의 가중치를 참조하여 상기 적어도 두 개의 문서 중 대상 문서를 검색하는 단계를 포함하는질의 추론 방법.

11

제10 항에 있어서,상기 적어도 두 개의 문서가 상기 대상 어휘 식별자를 공유하는 경우,상기 대상 문서를 검색하는 단계는,상기 대상 어휘 식별자의 가중치를 고려하여 상기 적어도 두 개의 문서에 대한 순위를 결정하는 단계; 및상기 적어도 두 개의 문서에 대한 순위에 기초하여 상기 대상 문서를 검색하는 단계를 포함하는질의 추론 방법.

12

생성적 검색을 위해 기 학습된 딥러닝 모델을 이용하여 질의 추론을 수행하는 장치로서,질의 추론 프로그램이 저장된 메모리; 및상기 메모리에서 상기 질의 추론 프로그램을 로드하여, 상기 질의 추론 프로그램을 실행하는 프로세서를 포함하고,상기 프로세서는,적어도 두 개의 문서를 상기 기 학습된 딥러닝 모델에 입력하여 상기 적어도 두 개의 문서 각각에 대한 어휘 식별자를 생성하고,대상 질의를 상기 기 학습된 딥러닝 모델에 입력하여 대상 어휘 식별자 및 상기 대상 어휘 식별자의 가중치를 출력하고,상기 대상 어휘 식별자 및 상기 대상 어휘 식별자의 가중치를 참조하여 상기 적어도 두 개의 문서 중 대상 문서를 검색하는질의 추론 장치.

13

제12 항에 있어서,상기 적어도 두 개의 문서가 상기 대상 어휘 식별자를 공유하는 경우,상기 프로세서는,상기 대상 어휘 식별자의 가중치를 고려하여 상기 적어도 두 개의 문서에 대한 순위를 결정하고,상기 적어도 두 개의 문서에 대한 순위에 기초하여 상기 대상 문서를 검색하는질의 추론 장치.

14

컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,적어도 두 개의 문서를 입력 받아 상기 적어도 두 개의 문서 각각에 대한 어휘 식별자를 생성하도록 딥러닝 모델을 1차 학습시키는 단계; 및질의, 상기 질의와 연관된 관련 문서 및 상기 질의와 연관되지 않은 비관련 문서를 입력 받아 상기 어휘 식별자의 가중치를 결정하도록 상기 딥러닝 모델을 2차 학습시키는 단계를 포함하는생성적 검색을 위해 딥러닝 모델을 학습시키는 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는컴퓨터 판독 가능한 기록매체.

15

컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,적어도 두 개의 문서를 입력 받아 상기 적어도 두 개의 문서 각각에 대한 어휘 식별자를 생성하도록 딥러닝 모델을 1차 학습시키는 단계; 및질의, 상기 질의와 연관된 관련 문서 및 상기 질의와 연관되지 않은 비관련 문서를 입력 받아 상기 어휘 식별자의 가중치를 결정하도록 상기 딥러닝 모델을 2차 학습시키는 단계를 포함하는생성적 검색을 위해 딥러닝 모델을 학습시키는 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는컴퓨터 프로그램.

16

컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,적어도 두 개의 문서를 기 학습된 딥러닝 모델에 입력하여 상기 적어도 두 개의 문서 각각에 대한 어휘 식별자를 생성하는 단계;대상 질의를 상기 기 학습된 딥러닝 모델에 입력하여 대상 어휘 식별자 및 상기 대상 어휘 식별자의 가중치를 출력하는 단계; 및상기 대상 어휘 식별자 및 상기 대상 어휘 식별자의 가중치를 참조하여 상기 적어도 두 개의 문서 중 대상 문서를 검색하는 단계를 포함하는질의 추론 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는컴퓨터 판독 가능한 기록매체.

17

컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,적어도 두 개의 문서를 기 학습된 딥러닝 모델에 입력하여 상기 적어도 두 개의 문서 각각에 대한 어휘 식별자를 생성하는 단계;대상 질의를 상기 기 학습된 딥러닝 모델에 입력하여 대상 어휘 식별자 및 상기 대상 어휘 식별자의 가중치를 출력하는 단계; 및상기 대상 어휘 식별자 및 상기 대상 어휘 식별자의 가중치를 참조하여 상기 적어도 두 개의 문서 중 대상 문서를 검색하는 단계를 포함하는질의 추론 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는컴퓨터 프로그램.