조립 데이터셋 레버리징을 활용한 로우-리소스 미립 개체명 인식 개선 방법으로서, 로우-리소스의 미립 데이터셋으로 미립 NER 모델을 학습하는 단계; 상기 미립 데이터셋과 조립 데이터셋간 계층적 관계를 이용하여, 이들간 개체 유형을 매핑하는 F2C 맵핑 매트릭스를 생성하는 단계; 및상기 학습된 미립 NER 모델과 상기 F2C 맵핑 매트릭스를 이용해 상기 조립 데이터셋에 대한 모델 예측값을 계산하고, 관련성이 낮은 조립 레이블을 마스킹하는 불일치 필터링 과정을 수행하는 단계;를 포함하되, 상기 불일치 필터링 과정이 수행된 조립 데이터셋으로 상기 미립 NER 모델을 학습하여 하나의 에포크를 마치는 CoFiNER 모델 학습 단계를 수행하며, 상기 F2C 맵핑 매트릭스를 생성하는 단계는, 학습된 조립 모델에 상기 미립 데이터셋을 통과시켜 각 조립 레이블에 대한 미립 레이블 개수를 측정하고, 각 미립 개체 유형과 조립 개체 유형에 대한 맵핑 개수를 계산하며, 가장 많이 맵핑된 레이블을 활용하여 상기 F2C 맵핑 매트릭스를 생성하며, 상기 불일치 필터링 과정을 수행하는 단계는, 상기 미립 데이터에 대한 정보를 학습한 상기 NER 모델이 상기 조립 데이터셋의 조립 레이블을 맞출 경우 미립 개체 유형과 조립 개체 유형이 관련성이 있는 것으로 가정하고, 그렇지 못한 조립 레이블을 불일치 레이블로 마스킹하고 필터링하며, 상기 CoFiNER 모델 학습 단계는 상기 조립 데이터셋에서 상기 NER 모델이 조립 레이블을 맞춘 데이터만을 상기 NER 모델 학습에 사용하며, 상기 F2C 맵핑 매트릭스를 생성하는 단계에서, 상기 조립 개체 유형의 조건부 확률은 하기의 수학식 1의 동시 매트릭스를 이용한 하기의 수학식 2를 이용하여 계산되는, 방법.[수학식 1][수학식 2]여기서, EF는 사전 정의된 미립 데이터셋인 가 사용되며, EC는 조립 개체 세트인 이고, M은 상기 F2C 맵핑 매트릭스이고, 각 셀 Cl,s는 미립 개체 유형 l 및 조립 개체 유형 s를 함께 레이블링된 토큰의 수임.

제1항에 있어서, 상기 CoFiNER 모델 학습 단계는 상기 미립 데이터셋과 상기 불일치 필터링 과정이 수행된 조립 데이터셋을 하나의 에포크 내에서 순차적으로 활용하여 모델 학습을 진행하는 것인, 방법.

삭제

삭제

제1 항에 있어서, 상기 F2C 맵핑 매트릭스는 상기 미립 데이터셋 및 상기 조립 데이터셋 각각에 대해 별도의 NER 모델을 학습시키지 않고, 미립 출력(fine-grained output)에 대응하는 조립 출력(coarse-grained output)으로 변환하여 단일 모델로 통합함으로써, 조립 개체 유형과 미립 개체 유형 간의 계층 구조를 최대한 활용하는, 방법.

삭제

삭제

제1 항에 있어서, 상기 F2C 맵핑 매트릭스는 하기의 수학식 3을 사용하여 상기 조립 레이블을 예측하는, 방법[수학식 3] 여기서, 은 열별 합이 1인 F2C 매트릭스이고, 는 CoFiNER 모델을 사용하여 계산된 미립 확률 분포임.

제1항, 제2항, 제5항 및 제8항 중 어느 한 항의 방법을 수행하기 위한 명령어를 포함하는 하나 이상의 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체.

조립 데이터셋 레버리징을 활용한 로우-리소스 미립 개체명 인식 개선 장치로서, 로우-리소스의 미립 데이터셋으로 미립 NER 모델을 학습하고, 상기 미립 데이터셋과 조립 데이터셋간 계층적 관계를 이용하여, 이들간 개체 유형을 매핑하는 F2C 맵핑 매트릭스를 생성하며, 상기 학습된 미립 NER 모델과 상기 F2C 맵핑 매트릭스를 이용해 상기 조립 데이터셋에 대한 모델 예측값을 계산하고, 관련성이 낮은 조립 레이블을 마스킹하는 불일치 필터링 과정을 수행하는 프로세서;를 포함하되, 상기 프로세서는 상기 불일치 필터링 과정이 수행된 조립 데이터셋으로 상기 미립 NER 모델을 학습하여 하나의 에포크를 마치는 CoFiNER 모델 학습 과정을 수행하며, 상기 프로세서는, 학습된 조립 모델에 상기 미립 데이터셋을 통과시켜 각 조립 레이블에 대한 미립 레이블 개수를 측정하고, 각 미립 개체 유형과 조립 개체 유형에 대한 맵핑 개수를 계산하며, 가장 많이 맵핑된 레이블을 활용하여 상기 F2C 맵핑 매트릭스를 생성하며, 상기 프로세서는, 상기 미립 데이터에 대한 정보를 학습한 상기 NER 모델이 상기 조립 데이터셋의 조립 레이블을 맞출 경우 미립 개체 유형과 조립 개체 유형이 관련성이 있는 것으로 가정하고, 그렇지 못한 조립 레이블을 불일치 레이블로 마스킹하고 필터링하며, 상기 CoFiNER 모델 학습 과정은 상기 조립 데이터셋에서 상기 NER 모델이 조립 레이블을 맞춘 데이터만을 상기 NER 모델 학습에 사용하며, 상기 F2C 맵핑 매트릭스를 생성하는 단계에서, 상기 조립 개체 유형의 조건부 확률은 하기의 수학식 1의 동시 매트릭스를 이용한 하기의 수학식 2를 이용하여 계산되는, 장치. [수학식 1][수학식 2]여기서, EF는 사전 정의된 미립 데이터셋인 가 사용되며, EC는 조립 개체 세트인 이고, M은 상기 F2C 맵핑 매트릭스이고, 각 셀 Cl,s는 미립 개체 유형 l 및 조립 개체 유형 s를 함께 레이블링된 토큰의 수임.

제10항에 있어서, 상기 CoFiNER 모델 학습 과정은 상기 미립 데이터셋과 상기 불일치 필터링 과정이 수행된 조립 데이터셋을 하나의 에포크 내에서 순차적으로 활용하여 모델 학습을 진행하는 것인, 장치.

삭제

삭제