국내외 뉴스 자연어처리를 바탕으로 한 상품가격 단기예측 통계분석 알고리즘
Statistical Algorithm for the Short-term Forecasts of Product Prices Based on Natural Language Processing of Domestic and Foreign News
특허 요약
본 발명은 인터넷상의 뉴스 데이터를 웹 크롤링하여 일별 목적 상품의 가격과 뉴스 데이터를 수집하는 데이터부; NLP를 통해 상기 데이터부에서 수집한 데이터에 대한 전처리를 진행하는 전처리부; 상기 전처리부에서 전처리된 데이터를 활용하여 최적 튜닝모수의 선택과 함께 예측 모형을 개발하는 모형부; 및 상기 모형부에서 계산한 최적의 튜닝모수를 적용한 예측 모형을 통해 예측을 시행하는 예측부를 포함하며; 상기 예측부에서는 1개월 이내의 특정 시점 이후 목적 상품 가격의 변동을 예측하는 것을 특징으로 하는 상품 가격 예측 시스템을 제안한다.
청구항
번호청구항
1

인터넷상의 뉴스 데이터를 웹 크롤링하여 일별 목적 상품의 가격과 뉴스 데이터를 수집하는 데이터부; NLP를 통해 상기 데이터부에서 수집한 데이터에 대한 전처리를 진행하여 TF-IDF를 계산하는 전처리부;상기 전처리부에서 전처리된 데이터를 활용하여 튜닝모수의 선택과 함께 예측 모형을 개발하여 생성하고, 생성된 모형을 검증하고 튜닝모수 값을 추정하는 모형부; 및상기 모형부에서 계산한 튜닝모수를 적용한 예측 모형을 통해 예측을 시행하는 예측부를 포함하며;상기 모형부에서는, 전처리부의 NLP에서 계산된 TF-IDF값 중 최소값과 최대값에 해당하는 단어들은 제외하고 TF-IDF값이 큰 순으로 단어를 일부 선택하여 모형부의 설명변수로 적용하며;상기 예측부는, 모형부에서 생성된 로지스틱 LASSO 회귀모형 또는 다중 로지스틱 LASSO 회귀모형 중 어느 하나를 선택하여 진행하며;로지스틱 LASSO 회귀모형으로 진행 시 특정 시점 이후의 목적 상품 가격 변동을 상승 및 하락 중 하나로 예측하고, 다중 로지스틱 LASSO 회귀모형 진행 시 특정 시점 이후의 목적 상품 가격 변동을 적어도 세 개 이상의 범주로 세분화하여 그 중 하나로 예측하며;상기 예측부는, 1개월 이내의 특정 시점 이후 목적 상품 가격의 변동을 예측하는 것을 특징으로 하는 상품 가격 예측 시스템.

2

삭제

3

삭제

4

청구항 1에 있어서,상기 모형부는,주어진 데이터의 최신 데이터를 테스트 데이터로, 나머지는 트레이닝 데이터로 분리하여 검증을 진행하는 것을 특징으로 하는 상품 가격 예측 시스템.

5

인터넷상의 뉴스 데이터를 상품 가격 예측 시스템의 데이터부에서 웹 크롤링하여 일별 목적 상품의 가격과 뉴스 데이터를 수집하는 데이터 수집 단계;NLP를 통해 상기 데이터 수집 단계에서 수집한 데이터에 대한 전처리를 상품 가격 예측 시스템의 전처리부에서 진행하여 TF-IDF를 계산하는 전처리 단계;상기 전처리부에서 전처리된 데이터를 활용하여 상품 가격 예측 시스템의 모형부에서 로지스틱 LASSO 회귀모형 또는 다중 로지스틱 LASSO 회귀모형 중 어느 하나를 선택하여 모형을 생성하는 모형 생성 단계;상기 모형 생성 단계에서 생성된 모형을 상품 가격 예측 시스템의 모형부에서 검증을 통해 튜닝모수 값을 추정하는 검증 및 계산 단계; 및상기 검증 및 계산 단계를 통해 계산한 튜닝모수를 적용한 예측 모형을 통해 상품 가격 예측 시스템의 예측부에서 예측을 시행하는 예측 단계를 포함하며;상기 모형 생성 단계는, 전처리부의 NLP에서 계산된 TF-IDF값 중 최소값과 최대값에 해당하는 단어들은 제외하고, TF-IDF값이 큰 순으로 단어를 일부 선택하여 모형부의 설명변수로 적용하며;상기 예측 단계는, 모형 생성 단계에서 생성된 로지스틱 LASSO 회귀모형으로 진행 시 특정 시점 이후의 목적 상품 가격 변동을 상승 및 하락 중 하나로 예측하며;다중 로지스틱 LASSO 회귀모형 진행 시 특정 시점 이후의 목적 상품 가격 변동을 적어도 세 개 이상의 범주로 세분화하여 그 중 하나로 예측하며;상기 예측 단계는, 1개월 이내의 특정 시점 이후 목적 상품 가격의 변동을 예측하는 것을 특징으로 하는 상품 가격 예측 방법.

6

삭제

7

삭제

8

청구항 5에 있어서,상기 검증 및 계산 단계는,주어진 데이터의 최신 데이터를 테스트 데이터로, 나머지는 트레이닝 데이터로 분리하여 검증을 진행하는 것을 특징으로 하는 상품 가격 예측 방법.