시스템 장애 예측용 딥러닝 모델 학습을 위한 학습 데이터 생성 방법 및 시스템
Method and system for generating training data for training deep learning models for system failure prediction
특허 요약
본 발명은 시스템 장애 예측용 딥러닝 모델 학습을 위한 학습 데이터 생성 방법에 관한 것이다. 본 발명은 수집부가 텍스트 형태의 시스템 로그 데이터를 수집하는 단계와, 전처리부가 수집된 시스템 로그 데이터를 SBERT모델을 이용하여 로그 벡터로 변환하는 단계와, 병합부가 변환된 로그 벡터에서 중복정보를 추출하여 중복정보에 따라 병합하여 파이널 데이터셋을 생성하는 단계를 포함한다.
청구항
번호청구항
1

시스템 장애 예측용 딥러닝 모델 학습을 위한 학습 데이터 생성 방법에 있어서,수집부가 텍스트 형태의 시스템 로그 데이터를 수집하는 단계;전처리부가 수집된 시스템 로그 데이터를 SBERT모델을 이용하여 로그 벡터로 변환하는 단계;병합부가 변환된 로그 벡터에서 중복정보를 추출하여 중복정보에 따라 병합하여 파이널 데이터셋을 생성하는 단계;분류부가 생성된 파이널 데이터셋에서 고장시간 범위내인지 판단하여 학습용데이터와 고장데이터를 분류하는 단계;학습부가 분류된 학습용데이터를 이용하여 RNN모델을 학습하는 단계; 및제어부가 학습상황인지를 판단하여 학습상황에 해당하면 예측 가능도를 최대화하여 학습을 반복수행하고, 학습상황이 아니면 학습된 RNN모델을 활용하여 특정 로그 시퀀스가 VNF에 들어오는 오류를 예측하는 단계를 포함하고,상기 중복정보는 시스템 로그 데이터를 수집한 날짜 및 시간, 생성된 프로세스에 대한 정보 중 적어도 하나가 중복되는 것을 병합하는 것을 특징으로 하는 시스템 장애 예측용 딥러닝 모델 학습을 위한 학습 데이터 생성 방법.

2

삭제

3

삭제

4

제1항에 있어서,수집부가 텍스트 형태의 시스템 로그 데이터를 수집하는 단계는,상기 수집부가 오픈스택을 이용하여 네트워크 및 네트워크 트래픽 경로를 구성하는 단계;상기 수집부가 이용자, 네트워크기능, 서버로 구성되는 경로에 HTTP를 요청하는 단계; 및상기 수집부가 각 네트워크기능들이 출력하는 모든 로그 데이터를 수집하는 단계를 포함하는 시스템 장애 예측용 딥러닝 모델 학습을 위한 학습 데이터 생성 방법.

5

제4항에 있어서,상기 수집부가 동시에 제3의 가상머신에서 각 네트워크기능들에 핑을 보내 응답을 기록하고 제한 시간내에 응답이 없으면 고장으로 판단하는 단계;상기 수집부가 수집된 로그데이터와 고장 판단 기록을 기초로 시계열데이터를 생성하는 단계를 더 포함하는 시스템 장애 예측용 딥러닝 모델 학습을 위한 학습 데이터 생성 방법.

6

시스템 장애 예측용 딥러닝 모델 학습을 위한 학습 데이터 생성 시스템에 있어서,텍스트 형태의 시스템 로그 데이터를 수집하는 수집부;수집된 시스템 로그 데이터를 SBERT모델을 이용하여 로그 벡터로 변환하는 전처리부;변환된 로그 벡터에서 중복정보를 추출하여 중복정보에 따라 병합하여 파이널 데이터셋을 생성하는 병합부; 및학습상황인지를 판단하여 학습상황에 해당하면 예측 가능도를 최대화하여 학습을 반복수행하고, 학습상황이 아니면 학습된 RNN모델을 활용하여 특정 로그 시퀀스가 VNF에 들어오는 오류를 예측하는 제어부를 포함하고,상기 중복정보는 시스템 로그 데이터를 수집한 날짜 및 시간, 생성된 프로세스에 대한 정보 중 적어도 하나가 중복되는 것을 병합하는 것을 특징으로 하는 시스템 장애 예측용 딥러닝 모델 학습을 위한 학습 데이터 생성 시스템.

7

제6항에 있어서,생성된 파이널 데이터셋에서 고장시간 범위내인지 판단하여 학습용데이터와 고장데이터를 분류하는 분류부를 포함하는 시스템 장애 예측용 딥러닝 모델 학습을 위한 학습 데이터 생성 시스템.

8

제7항에 있어서,분류된 학습용데이터를 이용하여 RNN모델을 학습하는 학습부를 더 포함하는 시스템 장애 예측용 딥러닝 모델 학습을 위한 학습 데이터 생성 시스템.

9

제8항에 있어서,상기 수집부는 오픈스택을 이용하여 네트워크 및 네트워크 트래픽 경로를 구성하고, 이용자, 네트워크기능, 서버로 구성되는 경로에 HTTP를 요청하고, 각 네트워크기능들이 출력하는 모든 로그 데이터를 수집하는 시스템 장애 예측용 딥러닝 모델 학습을 위한 학습 데이터 생성 시스템.