강화학습을 이용한 생산공정의 스케줄링 장치 및 방법
Device and method for production process using reinforcement learning
특허 요약
본 발명은 강화학습을 이용한 생산공정의 스케줄링 장치 및 방법에 관한 것이다. 본 발명에 따른 강화학습을 이용한 생산공정의 스케줄링 장치는 작업에 대한 일정을 추정함수로 생성하는 생성모듈, 상기 작업에 대한 파라미터를 입력하는 입력모듈, 상기 추정함수 및 파라미터를 전처리하는 전처리모듈, 상기 전처리된 추정함수 및 파라미터를 이용하여 추정함수를 학습하는 강화학습모듈 그리고 상기 강화학습된 추정함수를 통해 작업순열을 출력하는 출력모듈을 포함하여 구성된다.
청구항
번호청구항
1

작업에 대한 일정을 추정함수로 생성하는 생성모듈;상기 작업에 대한 파라미터를 입력하는 입력모듈;상기 추정함수 및 파라미터를 전처리하는 전처리모듈;상기 전처리된 추정함수 및 파라미터를 이용하여 추정함수를 학습하는 강화학습모듈; 및상기 강화학습된 추정함수를 통해 작업순열을 출력하는 출력모듈을 포함하는 강화학습을 이용한 생산공정의 스케줄링 장치.

2

제1항에 있어서, 상기 강화학습모듈은, 상기 추정함수의 학습을 기설정된 횟수만큼 반복하는 반복부;상기 상기 추정함수의 반복 횟수여부를 탐색하는 탐색부;상기 탐색부의 탐색 결과에 따라 상기 추정함수의 입실론 계수와 무작위 난수를 비교하는 비교부;상기 비교결과에 따라 작업순열을 결정하는 결정부; 및상기 작업순열을 이용하여 상기 추정함수를 갱신하는 갱신부를 포함하는 강화학습을 이용한 생산공정의 스케줄링 장치.

3

제1항에 있어서, 상기 강화학습모듈은, Double-Q learning 기법 또는 Dueling Architecture 기법을 활용하여 학습하는 것을 특징으로 하는 강화학습을 이용한 생산공정의 스케줄링 장치.

4

제2항에 있어서, 상기 갱신부의 갱신시점을 판별하는 판별부를 더 포함하는 강화학습을 이용한 생산공정의 스케줄링 장치.

5

제2항에 있어서, 상기 결정부는,상기 추정함수의 입실론 계수가 상기 무작위 난수보다 클 경우 무작위로 작업순열을 결정하고,상기 추정함수의 입실론 계수가 무작위 난수보다 작거나 같을 경우 상기 추정함수에 기초하여 작업순열을 결정하는 것을 특징으로 하는 강화학습을 이용한 생산공정의 스케줄링 장치.

6

제1항에 있어서, 상기 출력모듈은,상기 강화학습된 추정함수의 가중치 정보에 따라 상기 작업순열을 출력하는 것을 특징으로 하는 강화학습을 이용한 생산공정의 스케줄링 장치.

7

제1항에 있어서, 상기 가중치 정보는,상태함수, 행동함수, 이점함수 간의 연산을 통한 가중치를 이용하는 것을 특징으로 하는 강화학습을 이용한 생산공정의 스케줄링 장치.

8

강화학습을 이용한 생산공정의 스케줄링 방법에 있어서,작업에 대한 일정을 추정함수로 생성하는 생성단계;상기 작업에 대한 파라미터를 입력하는 입력단계;상기 추정함수 및 파라미터를 전처리하는 전처리단계; 상기 전처리된 추정함수 및 파라미터를 이용하여 추정함수를 학습하는 강화학습단계; 및상기 강화학습된 추정함수를 통해 작업순열을 출력하는 출력단계를 포함하는 강화학습을 이용한 생산공정의 스케줄링 방법.

9

제8항에 있어서, 상기 강화학습단계는, 상기 추정함수의 학습을 기설정된 횟수만큼 반복하는 반복단계;상기 상기 추정함수의 반복 횟수여부를 탐색하는 탐색단계;상기 탐색 결과에 따라 상기 추정함수의 입실론 계수와 무작위 난수를 비교하는 비교단계;상기 비교결과에 따라 작업순열을 결정하는 결정단계; 및상기 작업순열을 이용하여 상기 추정함수를 갱신하는 갱신단계를 포함하는 강화학습을 이용한 생산공정의 스케줄링 방법.

10

제9항에 있어서, 상기 갱신단계의 갱신시점을 판별하는 판별단계를 더 포함하는 강화학습을 이용한 생산공정의 스케줄링 방법.

11

제8항에 있어서, 상기 결정단계는,상기 추정함수의 입실론 계수가 상기 무작위 난수보다 클 경우 무작위로 작업순열을 결정하고,상기 추정함수의 입실론 계수가 무작위 난수보다 작거나 같을 경우 상기 추정함수에 기초하여 작업순열을 결정하는 것을 특징으로 하는 강화학습을 이용한 생산공정의 스케줄링 방법.

12

제8항에 있어서, 상기 출력단계는, 상태함수, 행동함수, 이점함수를 연산한 가중치를 기초로 한 추정함수의 가중치 정보에 따라 상기 작업순열을 출력하는 것을 특징으로 하는 강화학습을 이용한 생산공정의 스케줄링 방법.