메모리 리소스(Memory resource) 추가 할당에 관한 기준치를 설정하는 추가 메모리 기준치 설정부;사용되지 않은 GPU들에 대해 실시간 자원 모니터링을 수행하는 실시간 자원 모니터링부;실시간 자원 모니터링을 통하여 각 GPU의 현재 상태 데이터를 획득하는 GPU 데이터 획득부;획득한 GPU 데이터를 바탕으로 그리디-다이나믹 알고리즘(Greedy + Dynamic Algorithm)을 실행하는 그리디-다이나믹 알고리즘 실행부;그리디-다이나믹 알고리즘 실행이 종료되면 GPU 메모리를 기존의 작업에 추가로 공급하여 DL 모델 학습 및 추론 작업을 재개하도록 하는 메모리 리소스 지원부;를 포함하는 것을 특징으로 하는 DL 모델 학습 및 추론의 효율성 향상을 위한 GPU 자원 할당 최적화를 위한 장치.

제 1 항에 있어서, 복수의 GPU 중 단 하나의 GPU 만을 학습 혹은 추론 작업에 할당하여 DL 모델 학습 및 추론을 수행하는 DL 모델 학습 및 추론부를 더 포함하는 것을 특징으로 하는 DL 모델 학습 및 추론의 효율성 향상을 위한 GPU 자원 할당 최적화를 위한 장치.

제 1 항에 있어서, 데이터 획득부에서 획득되는 GPU의 현재 상태 데이터는,Clock frequency, Memory usage 데이터를 포함하고,메모리 할당을 위한 GPU의 우선순위를 결정하기 위하여 각 GPU의 value (=Clock frequency/memory usage)으로 산출하는 것을 특징으로 하는 DL 모델 학습 및 추론의 효율성 향상을 위한 GPU 자원 할당 최적화를 위한 장치.

제 1 항에 있어서, 그리디-다이나믹 알고리즘 실행부는,그리디-다이나믹 알고리즘이 실행되면 현재 GPU의 GPU의 현재 상태 데이터를 입력으로 받는 데이터 수신부와,작업에 추가로 필요한 메모리 사용량(Threshold)을 추가로 전달하기 위해 'Greedy algorithm'을 적용하는 그리디 알고리즘 실행부와,각 GPU의 value(=Clock frequency/memory usage)를 비교하는 GPU 데이터 비교부와,GPU 데이터 비교 결과를 기준으로 메모리 할당을 위한 GPU의 우선순위를 결정하고, 순위에 따라 선택된 GPU로부터 메모리 리소스를 획득하는 GPU 우선순위 결정부와,'Greedy algorithm'이 종료된 이후, 추가된 자원량이 기준치를 만족시키는지 확인하는 추가 메모리 확인부를 포함하는 것을 특징으로 하는 DL 모델 학습 및 추론의 효율성 향상을 위한 GPU 자원 할당 최적화를 위한 장치.

제 4 항에 있어서, 그리디-다이나믹 알고리즘 실행부는,추가 메모리 확인부의 확인 과정에서 추가된 자원량이 기준치를 만족시키지 못하면,이전 알고리즘에서 선택되지 않았던, GPU들에 대해 Value를 계산하고 잔여 메모리 요구량을 충족시킬 때까지 반복 동작을 하는 Dynamic Programming을 적용하는 다이나믹 프로그래밍 실행부를 더 포함하는 것을 특징으로 하는 DL 모델 학습 및 추론의 효율성 향상을 위한 GPU 자원 할당 최적화를 위한 장치.

복수의 GPU 중 단 하나의 GPU 만을 학습 혹은 추론 작업에 할당되면, 메모리 리소스(Memory resource) 추가 할당에 관한 기준치를 설정하는 단계;DL 모델 학습 및 추론 작업을 수행하는 과정에서 GPU의 Memory가 부족한 상황이 발생하는지 모니터링을 하는 단계;모니터링 과정에서 추가적인 GPU 자원이 필요한 경우, 작업에 사용되지 않은 GPU로부터 사용자가 요구하는 추가 메모리 기준치(Threshold)만큼의 메모리 리소스 (Memory resource)을 추가로 가져와 작업에 할당하는 단계;사용되지 않은 GPU들에 대해 실시간 자원 모니터링을 수행하고 이를 통하여 각 GPU의 현재 상태 데이터를 획득하는 단계;획득한 GPU 데이터를 바탕으로 그리디-다이나믹 알고리즘(Greedy + Dynamic Algorithm)을 실행하고, 알고리즘이 종료되면 GPU 메모리를 기존의 작업에 추가로 공급하는 단계;를 포함하는 것을 특징으로 하는 DL 모델 학습 및 추론의 효율성 향상을 위한 GPU 자원 할당 최적화를 위한 장치.

제 6 항에 있어서, GPU의 현재 상태 데이터는,Clock frequency, Memory usage 데이터를 포함하고,메모리 할당을 위한 GPU의 우선순위를 결정하기 위하여 각 GPU의 value (=Clock frequency/memory usage)으로 산출하는 것을 특징으로 하는 DL 모델 학습 및 추론의 효율성 향상을 위한 GPU 자원 할당 최적화를 위한 방법.

제 6 항에 있어서, 그리디-다이나믹 알고리즘(Greedy + Dynamic Algorithm)을 실행하는 단계는,현재 GPU의 현재 상태 데이터를 입력으로 받는 단계와,작업에 추가로 필요한 메모리 사용량(Threshold)을 추가로 전달하기 위해, 먼저 'Greedy algorithm'을 실행하는 단계와,각 GPU의 value (=Clock frequency/memory usage)를 비교하여 메모리 할당을 위한 GPU의 우선순위를 결정하고, 순위에 따라 선택된 GPU로부터 메모리 리소스를 획득하는 단계와,'Greedy algorithm'이 종료된 이후, 추가된 자원량이 기준치를 만족시키는지 판단하는 단계와,추가된 자원량이 기준치를 만족시키지 못한다면, 'Dynamic Programming'을 실행하는 단계를 포함하는 것을 특징으로 하는 DL 모델 학습 및 추론의 효율성 향상을 위한 GPU 자원 할당 최적화를 위한 방법.

제 8 항에 있어서, 'Dynamic Programming'은 이전 알고리즘에서 선택되지 않았던, GPU들에 대해 Value를 계산하고 잔여 메모리 요구량을 충족시킬 때까지 반복 동작을 하고,Dynamic Programming을 통하여 기준치만큼의 추가 메모리(GPU memory resource)를 획득하면, 알고리즘을 종료하는 것을 특징으로 하는 DL 모델 학습 및 추론의 효율성 향상을 위한 GPU 자원 할당 최적화를 위한 방법.

제 8 항에 있어서, Value가 동일한 경우 우선순위는 GPU 장치의 순서(order)를 통해 순위를 결정하고,여러 개의 GPU가 존재하는 시스템에서 각 GPU에 순서가 매겨지는 순서(order)의 더 작은 번호를 갖는 GPU가 높은 우선순위를 갖도록 하는 것을 특징으로 하는 DL 모델 학습 및 추론의 효율성 향상을 위한 GPU 자원 할당 최적화를 위한 방법.