다중 질문 생성 방법 및 장치
Method for multi-question generation and apparatus thereof
특허 요약
본 발명은 다중 질문 생성 기술에 관한 것으로, 질문 생성 장치는, 스토리 데이터셋(story dataset)의 컨텍스트(context) 정보를 기반으로 언어 처리 모델의 제 1 인코더(encoder) 및 디코더(decoder)를 이용해 제 1 참조 질문을 생성하고, 생성된 제 1 참조 질문을 기반으로 언어 처리 모델의 제 2 인코더 및 디코더를 이용해 제 2 참조 질문을 생성하고, 질문을 다양하게 생성할 확률을 증가시키는 손실 함수를 이용하여, 제 1 참조 질문 및 제 2 참조 질문 간 차이를 고려하여 디코더로부터 명시적(explicit) 및 암시적(implicit) 질문을 출력한다.
청구항
번호청구항
1

질문 생성 장치가 스토리 데이터셋(story dataset)의 컨텍스트(context) 정보를 기반으로 언어 처리 모델의 제 1 인코더(encoder) 및 디코더(decoder)를 이용해 제 1 참조 질문을 생성하는 단계; 상기 질문 생성 장치가 생성된 상기 제 1 참조 질문을 기반으로 상기 언어 처리 모델의 제 2 인코더 및 상기 디코더를 이용해 제 2 참조 질문을 생성하는 단계; 및상기 질문 생성 장치가 질문을 다양하게 생성할 확률을 증가시키는 손실 함수를 이용하여, 상기 제 1 참조 질문 및 상기 제 2 참조 질문 간 차이를 고려하여 상기 디코더로부터 명시적(explicit) 및 암시적(implicit) 질문을 출력하는 단계;를 포함하는, 질문 생성 방법.

2

제 1 항에 있어서,상기 제 1 참조 질문을 생성하는 단계는,상기 컨텍스트 정보를 기반으로 상기 제 1 인코더를 이용해 문맥(context) 특징 벡터를 추출하는 단계; 및상기 문맥 특징 벡터를 기반으로 상기 디코더를 이용해 상기 제 1 참조 질문을 생성하는 단계;를 포함하는, 질문 생성 방법.

3

제 2 항에 있어서,상기 제 2 참조 질문을 생성하는 단계는,생성된 상기 제 1 참조 질문을 기반으로 상기 제 2 인코더를 이용해 질문(question) 특징 벡터를 추출하는 단계; 및상기 문맥 특징 벡터 및 상기 질문 특징 벡터를 기반으로 상기 디코더를 이용해 상기 제 2 참조 질문을 생성하는 단계;를 포함하는, 질문 생성 방법.

4

제 1 항에 있어서,상기 제 2 인코더는,적어도 하나 이상의 인코더로 구성되어, 구성된 인코더의 개수만큼 질문 특징 벡터를 추출하는, 질문 생성 방법.

5

제 4 항에 있어서,상기 언어 처리 모델은,질문의 유형을 결정하는 질문 유형 특징 벡터를 갖는 QT 토큰(question type token)을 상기 제 1 인코더 및 상기 제 2 인코더에 입력하는, 질문 생성 방법.

6

제 1 항에 있어서,상기 명시적 및 암시적 질문을 출력하는 단계는,상기 디코더의 출력값 및 상기 제 1 참조 질문 및 상기 제 2 참조 질문의 특징값을 결합하여 결합값을 산출하고, 상기 결합값을 상기 손실 함수에 입력하는 단계;를 포함하는, 질문 생성 방법.

7

제 6 항에 있어서상기 손실 함수는,상기 결합값을 기반으로 상기 제 1 참조 질문 및 상기 제 2 참조 질문의 유사도에 따른 손실(loss)을 이용해 질문 생성의 편향력을 줄이는 질문 인지 대조 손실 함수(question aware contrastive loss) 및 상기 언어 처리 모델의 출력을 측정하는 크로스 엔트로피 손실 함수(cross entropy loss)를 포함하는, 질문 생성 방법.

8

질문 생성 장치가 스토리 데이터셋(story dataset)의 컨텍스트(context) 정보를 기반으로 언어 처리 모델의 제 1 인코더(encoder) 및 디코더(decoder)를 이용해 제 1 참조 질문을 생성하는 단계; 상기 질문 생성 장치가 생성된 상기 제 1 참조 질문을 기반으로 상기 언어 처리 모델의 제 2 인코더 및 상기 디코더를 이용해 제 2 참조 질문을 생성하는 단계;상기 질문 생성 장치가 질문을 다양하게 생성할 확률을 증가시키는 손실 함수를 이용하여, 상기 제 1 참조 질문 및 상기 제 2 참조 질문 간 차이를 고려하여 상기 디코더로부터 명시적(explicit) 및 암시적(implicit) 질문을 출력하는 단계; 및질문 데이터를 포함하는 응답 가능성 평가 모델(answerability evaluation model)을 이용하여 생성된 상기 명시적 및 상기 암시적 질문의 답변 여부를 검증하는 단계;를 포함하는, 질문 검증 방법.

9

제 8 항에 있어서,상기 명시적 및 암시적 질문을 출력하는 단계는,상기 디코더의 출력값 및 상기 제 1 참조 질문 및 상기 제 2 참조 질문의 특징값을 결합하여 결합값을 산출하고, 상기 결합값을 상기 손실 함수에 입력하는 단계;를 포함하고,상기 손실 함수는,상기 결합값을 기반으로 상기 제 1 참조 질문 및 상기 제 2 참조 질문의 유사도에 따른 손실(loss)을 이용해 질문 생성의 편향력을 줄이는 질문 인지 대조 손실 함수(question aware contrastive loss) 및 상기 언어 처리 모델의 출력을 측정하는 크로스 엔트로피 손실 함수(cross entropy loss)를 포함하는, 질문 검증 방법.

10

제 8 항에 있어서,상기 답변 여부를 검증하는 단계는,웹에서 수집된 문장(text) 데이터를 기반으로 답변이 가능한 질문 및 불가능한 질문이 라벨링되어 있는 데이터셋(dataset)으로 구성된 상기 응답 가능성 평가 모델을 이용하는, 질문 검증 방법.

11

제 1 항 내지 제 10 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

12

스토리 데이터셋(story dataset)을 입력받는 입력부; 및언어 처리 모델을 구비하고, 상기 언어 처리 모델의 제 1 인코더(encoder) 및 디코더(decoder)를 이용해 제 1 참조 질문을 생성하고, 생성된 상기 제 1 참조 질문을 기반으로 상기 언어 처리 모델의 제 2 인코더 및 상기 디코더를 이용해 제 2 참조 질문을 생성하고, 질문을 다양하게 생성할 확률을 증가시키는 손실 함수를 이용하여 생성된 상기 제 1 참조 질문 및 상기 제 2 참조 질문 간 차이를 고려하여 상기 디코더로부터 명시적(explicit) 및 암시적(implicit) 질문을 출력하는 질문 생성부;를 포함하는, 질문 생성 장치.

13

제 12 항에 있어서,상기 질문 생성부는,상기 스토리 데이터셋의 컨텍스트 정보를 기반으로 상기 제 1 인코더를 이용해 문맥(context) 특징 벡터를 추출하고, 상기 문맥 특징 벡터를 기반으로 상기 디코더를 이용해 상기 제 1 참조 질문을 생성하는, 질문 생성 장치.

14

제 13 항에 있어서,상기 질문 생성부는,생성된 상기 제 1 참조 질문을 기반으로 상기 제 2 인코더를 이용해 질문(question) 특징 벡터를 추출하고, 상기 문맥 특징 벡터 및 상기 질문 특징 벡터를 기반으로 상기 디코더를 이용해 상기 제 2 참조 질문을 생성하는, 질문 생성 장치.

15

제 12 항에 있어서,상기 질문 생성부는,적어도 하나 이상의 인코더로 구성되어, 구성된 인코더의 개수만큼 질문 특징 벡터를 추출하는 상기 제 2 인코더를 포함하는, 질문 생성 장치.

16

제 15 항에 있어서,상기 질문 생성부는,질문의 유형을 결정하는 질문 유형 특징 벡터를 갖는 QT 토큰(question type token)을 상기 언어 처리 모델을 통해 상기 제 1 인코더 및 상기 제 2 인코더에 입력하는, 질문 생성 장치.

17

제 14 항에 있어서,상기 질문 생성부는,상기 디코더의 출력값 및 상기 제 1 참조 질문 및 상기 제 2 참조 질문의 특징값을 결합하여 결합값을 산출하고, 상기 결합값을 상기 손실 함수에 입력하는, 질문 생성 장치.

18

제 17 항에 있어서,상기 질문 생성부는,상기 결합값을 기반으로 상기 제 1 참조 질문 및 상기 제 2 참조 질문의 유사도에 따른 손실(loss)을 이용해 질문 생성의 편향력을 줄이는 질문 인지 대조 손실 함수(question aware contrastive loss) 및 상기 언어 처리 모델의 출력을 측정하는 크로스 엔트로피 손실 함수(cross entropy loss)를 포함하는 손실함수를 이용하는, 질문 생성 장치.

19

제 12 항에 있어서,질문 데이터를 포함하는 응답 가능성 평가 모델(answerability evaluation model)을 이용하여 생성된 상기 명시적 및 상기 암시적 질문의 답변 여부를 검증하는 질문 검증부;를 포함하는, 질문 생성 장치.

20

제 19 항에 있어서,상기 질문 검증부는,웹에서 수집된 문장(text) 데이터를 기반으로 답변이 가능한 질문 및 불가능한 질문이 라벨링되어 있는 데이터셋(dataset)으로 구성된 상기 응답 가능성 평가 모델을 포함하는, 질문 생성 장치.