| 번호 | 청구항 |
|---|---|
| 9 | 제8항에 있어서, 상기 최적화 솔루션에는,소정 개수의 컨테이너를 이동하는데 필요한 야드 크레인 또는 야드 트럭의 개수를 최소화하는 방안, 상기 소정 개수의 컨테이너를 적재하는데 필요한 소요 시간을 최소화하는 방안 및 상기 소정 개수의 컨테이너를 이동시키기 위해 야드 크레인이 이동하는 이동 거리를 최소화하는 방안 중 적어도 하나가 포함되는, 서버. |
| 1 | 적어도 하나의 명령어를 저장하는 메모리; 및프로세서를 포함하고,상기 적어도 하나의 명령어가 상기 프로세서에 의해 실행됨으로써, 상기 서버는,컨테이너 터미널에 배치되어 있는 야드 크레인과 야드 트럭 각각에 강화학습을 위해 마련된 에이전트를 배치하고,상기 컨테이너 터미널에서 상기 야드 크레인과 상기 야드 트럭 간에 컨테이너가 전달 또는 적재되는 과정을 고려하여, 상기 컨테이너에 대한 작업할당 및 경로계획을 위한 최적화 솔루션을 도출하되,상기 최적화 솔루션을 도출하는 과정에는,상기 야드 크레인에 배치되는 에이전트 및 상기 야드 트럭에 배치되는 에이전트를 포함하는 멀티에이전트 기반의 강화학습 모델이 이용되는, 서버. |
| 2 | 제1항에 있어서, 상기 최적화 솔루션에는,소정 개수의 컨테이너를 이동하는데 필요한 야드 크레인 또는 야드 트럭의 개수를 최소화하는 방안, 상기 소정 개수의 컨테이너를 적재하는데 필요한 소요 시간을 최소화하는 방안 및 상기 소정 개수의 컨테이너를 이동시키기 위해 야드 크레인이 이동하는 이동 거리를 최소화하는 방안 중 적어도 하나가 포함되는서버. |
| 3 | 제1항에 있어서, 상기 서버는 멀티에이전트 기반의 강화학습을 위해, 야드 크레인의 환경 (Environment)을 상기 야드 크레인의 위치, 상기 야드 크레인에 적재된 컨테이너의 상태로 설정하고, 상기 야드 크레인의 상태 (State)를 목표 컨테이너의 위치 및 주변 크레인의 위치와 상태로 설정하고,야드 트럭의 환경을 경로상 상기 야드 트럭의 현재 위치 및 상기 야드 트럭에 적재된 컨테이너의 상태로 설정하고, 상기 야드 트럭의 상태를 선박, 창고, 야드 내 위치를 포함하는 목표지점, 주변 야드 트럭의 위치 및 상기 주변 야드 트럭의 상태로 설정하는, 서버. |
| 4 | 제3항에 있어서, 상기 서버는 멀티에이전트 기반의 강화학습을 위한 야드 크레인의 행동(Action)을 컨테이너 적재 및 하역이동으로 설정하되, 야드 트럭의 상기 행동을 전진, 후진, 좌회전 및 우회전을 포함하는 이동 및 컨테이너 적재 또는 하역으로 설정하고, 상기 야드 크레인의 보상(Reward)을 컨테이너를 성공적으로 적재 또는 하역할 때의 긍정적 보상, 작업 완료 시간 단축에 따른 보상으로 설정하고,상기 야드 크레인이 잘못된 위치로 이동하거나 작업이 지연될 경우 페널티를 제공하는 것으로 설정하는, 서버. |
| 5 | 제4항에 있어서, 상기 서버는 멀티에이전트에 기반한 강화학습을 위해, 야드 트럭의 보상을 컨테이너를 목표 지점에 성공적으로 운반할 때 긍정적 보상을 제공하는 것 및 최소 이동 거리, 최소 연료 소비를 포함하는 경로 최적화에 따라 상기 야드 트럭에 보상을 제공하는 것으로 설정하고,교통 체증 발생 시 상기 야드 트럭에 페널티를 부여하고, 충돌이나 지연 발생 시 상기 야드 트럭에 페널티를 부여하는 것으로 설정하는, 서버. |
| 6 | 제3항에 있어서, 상기 야드 크레인과 야드 트럭 간의 협력은상기 야드 크레인이 컨테이너를 적재할 때 상기 야드 트럭의 상기 컨테이너 터미널 내에서의 위치를 도출하고, 상기 야드트럭이 적재된 컨테이너를 하기 위해 크레인의 작업 속도를 동기화화 하는 것을 포함하는, 서버. |
| 7 | 제1항에 있어서, 상기 서버는 멀티 에이전트가 동시에 학습하고 상호작용하는 시뮬레이션 환경을 구축하고,상기 시뮬레이션 환경에서 야드 크레인과 야드 트럭의 이동 및 작업을 실시간으로 시뮬레이션하여 각 에이전트에게 학습시키는, 서버. |
| 8 | 야드 크레인과 야드 트럭을 위한 작업할당 및 경로계획을 최적화하기 위한 방법에 있어서, 컨테이너 터미널에 배치되어 있는 야드 크레인과 야드 트럭 각각에 강화학습을 위해 마련된 에이전트를 배치하는 단계; 및상기 컨테이너 터미널에서 상기 야드 크레인과 상기 야드 트럭 간에 컨테이너가 전달 또는 적재되는 과정을 고려하여, 상기 컨테이너에 대한 작업할당 및 경로계획을 위한 최적화 솔루션을 도출하는 단계; 를 포함하고,상기 최적화 솔루션을 도출하는 과정에는,상기 야드 크레인에 배치되는 에이전트 및 상기 야드 트럭에 배치되는 에이전트를 포함하는 멀티에이전트 기반의 강화학습 모델이 이용되는, 방법. |
| 10 | 제8항에 있어서, 상기 최적화 솔루션을 도출하는 과정에서, 멀티에이전트 기반의 강화학습을 위해, 야드 크레인의 환경 (Environment)을 상기 야드 크레인의 위치, 상기 야드 크레인에 적재된 컨테이너의 상태로 설정하고, 상기 야드 크레인의 상태 (State)를 목표 컨테이너의 위치 및 주변 크레인의 위치와 상태로 설정하고,야드 트럭의 환경을 경로상 상기 야드 트럭의 현재 위치 및 상기 야드 트럭에 적재된 컨테이너의 상태로 설정하고, 상기 야드 트럭의 상태를 선박, 창고, 야드 내 위치를 포함하는 목표지점, 주변 야드 트럭의 위치 및 상기 주변 야드 트럭의 상태로 설정하는, 방법. |
| 11 | 제10항에 있어서, 상기 최적화 솔루션을 도출하는 과정에서,멀티에이전트 기반의 강화학습을 위한 야드 크레인의 행동(Action)을 컨테이너 적재 및 하역이동으로 설정하되, 야드 트럭의 상기 행동을 전진, 후진, 좌회전 및 우회전을 포함하는 이동 및 컨테이너 적재 또는 하역으로 설정하고, 상기 야드 크레인의 보상(Reward)을 컨테이너를 성공적으로 적재 또는 하역할 때의 긍정적 보상, 작업 완료 시간 단축에 따른 보상으로 설정하고,상기 야드 크레인이 잘못된 위치로 이동하거나 작업이 지연될 경우 페널티를 제공하는 것으로 설정하는, 방법. |
| 12 | 제11항에 있어서, 상기 최적화 솔루션을 도출하는 과정에서, 멀티에이전트에 기반한 강화학습을 위해, 야드 트럭의 보상을 컨테이너를 목표 지점에 성공적으로 운반할 때 긍정적 보상을 제공하는 것 및 최소 이동 거리, 최소 연료 소비를 포함하는 경로 최적화에 따라 상기 야드 트럭에 보상을 제공하는 것으로 설정하고,교통 체증 발생 시 상기 야드 트럭에 페널티를 부여하고, 충돌이나 지연 발생 시 상기 야드 트럭에 페널티를 부여하는 것으로 설정하는, 방법. |
| 13 | 제10항에 있어서, 상기 야드 크레인과 야드 트럭 간의 협력은상기 야드 크레인이 컨테이너를 적재할 때 상기 야드 트럭의 상기 컨테이너 터미널 내에서의 위치를 도출하고, 상기 야드 트럭이 적재된 컨테이너를 하기 위해 크레인의 작업 속도를 동기화화 하는 것을 포함하는, 방법. |
| 14 | 제8항에 있어서, 상기 최적화 솔루션을 도출하는 과정에서,멀티 에이전트가 동시에 학습하고 상호작용하는 시뮬레이션 환경을 구축하고, 상기 시뮬레이션 환경에서 야드 크레인과 야드 트럭의 이동 및 작업을 실시간으로 시뮬레이션하여 각 에이전트에게 학습시키는, 방법 |