강화학습에 기반한 태스크 오프로딩을 수행하는 전자장치 및 그 동작방법
AN ELECTRONIC DEVICE FOR PERFORMING A TASK OFFLOADING BASED ON REINFORCEMENT LEARNING AND OPERATING METHOD THEREOF
특허 요약
본 발명의 일 실시예에 따른 차량에서 태스크 오프로딩을 위한 송신전력을 결정하는 전자장치의 동작 방법은, 이전 시간 구간에서 상기 전자장치의 송신전력을 포함하는 상태정보를 이용하여 강화학습을 수행하는 과정, 상기 강화학습을 통해 상기 태스크 오프로딩 시의 송신전력을 결정하는 과정 및 상기 결정된 송신전력으로 상기 태스크 오프로딩을 수행하는 과정을 포함한다.
청구항
번호청구항
1

차량에서 태스크 오프로딩을 위한 송신전력을 결정하는 전자장치의 동작 방법에 있어서,이전 시간 구간에서 상기 전자장치의 송신전력을 포함하는 상태정보를 이용하여 강화학습을 수행하는 과정;상기 강화학습을 통해 상기 태스크 오프로딩 시의 송신전력을 결정하는 과정; 및상기 결정된 송신전력으로 상기 태스크 오프로딩을 수행하는 과정;을 포함하는 전자장치의 동작 방법.

2

제1항에 있어서, 상기 상태정보는,상기 차량의 채널 상태 및 상기 차량의 큐(Queue) 사이즈를 포함하는 전자장치의 동작 방법.

3

제1항에 있어서, 상기 강화학습을 수행하는 과정은,상기 상태정보를 이용하여 강화학습을 수행하여, 송신전력에 대한 로컬모델을 생성하는 과정; 및상기 생성된 로컬모델의 파라미터 값을 서버로 송신하는 과정을 포함하는 전자장치의 동작 방법.

4

제3항에 있어서, 상기 로컬모델의 파라미터 값에 기초하여 생성된 글로벌모델의 파라미터 값을 수신하는 과정; 및상기 상태정보와 상기 수신한 글로벌모델의 파라미터 값을 이용하여 강화학습을 수행하는 과정;을 더 포함하는 전자장치의 동작 방법.

5

제3항에 있어서, 상기 로컬모델에서 보상은,상기 차량의 서버로 오프로딩하는 데이터의 양과, 상기 차량에 인접한 차량들이 오프로딩한 데이터의 양과, 상기 차량과 인접한 링크들 간의 간섭에 대한 가중치에 기초하여 결정되는 전자장치의 동작 방법.

6

차량에서 태스크 오프로딩을 위한 송신전력을 결정하는 전자장치에 있어서,외부 엔터티와 통신을 수행하는 통신부; 및 이전 시간 구간에서 상기 전자장치의 송신전력을 포함하는 상태정보를 이용하여 강화학습을 수행하고, 상기 강화학습을 통해 상기 태스크 오프로딩 시의 송신전력을 결정하고, 상기 결정된 송신전력으로 상기 태스크 오프로딩을 수행하는 프로세서;를 포함하는 전자장치.

7

제1항에 있어서, 상기 상태정보는,상기 차량의 채널 상태 및 상기 차량의 큐(Queue) 사이즈를 포함하는 전자장치.

8

제6항에 있어서, 상기 프로세서는,상기 상태정보를 이용하여 강화학습을 수행하여, 송신전력에 대한 로컬모델을 생성하고, 상기 생성된 로컬모델의 파라미터 값을 상기 통신부를 통하여 서버로 송신하는 전자장치.

9

제8항에 있어서, 상기 프로세서는,상기 로컬모델의 파라미터 값에 기초하여 생성된 글로벌모델의 파라미터 값을 상기 통신부를 통하여 수신하고, 상기 상태정보와 상기 수신한 글로벌모델의 파라미터 값을 이용하여 강화학습을 수행하는 전자장치.

10

제8항에 있어서, 상기 로컬모델에서 보상은,상기 차량의 서버로 오프로딩하는 데이터의 양과, 상기 차량에 인접한 차량들이 오프로딩한 데이터의 양과, 상기 차량과 인접한 링크들 간의 간섭에 대한 가중치에 기초하여 결정되는 전자장치.

11

전자장치의 프로세서에 의해 실행되는 경우 상기 전자장치의 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 상기 동작은,이전 시간 구간에서 상기 전자장치의 송신전력을 포함하는 상태정보를 이용하여 강화학습을 수행하는 과정;상기 강화학습을 통해 상기 태스크 오프로딩 시의 송신전력을 결정하는 과정; 및상기 결정된 송신전력으로 상기 태스크 오프로딩을 수행하는 과정;을 포함하는, 비일시적 컴퓨터 판독 가능 매체.

12

제11항에 있어서, 상기 상태정보는,상기 차량의 채널 상태 및 상기 차량의 큐(Queue) 사이즈를 포함하는 비일시적 컴퓨터 판독 가능 매체.