제9 항에 있어서,상기 자원 할당은 각 IoT 단말의 전송 전력 및 CPU 주파수 설정인 것을 특징으로 하는 컴퓨팅 장치.

기지국과 복수의 IoT 단말로 구성된 네트워크에 대한 연합 학습 시스템 환경에서 각 타임슬롯 시작시 각 IoT 단말의 현재 상태를 관찰하는 단계-상기 상태는 각 IoT 단말의 현재 에너지 레벨, 로컬 모델 계산 시간 및 업로드 시간을 포함함;상기 현재 상태를 강화 학습 기반 액터-크리틱 네트워크 모델에 적용하여 정책에 따라 액션(action)을 결정하고, 상기 결정된 액션에 상응하는 보상을 계산하는 단계-상기 보상은 각 타임슬롯에서 에너지 페널티와 지연 시간 페널티를 고려한 모든 IoT 단말의 총 에너지 소비량을 이용하여 계산됨;상기 현재 상태, 결정된 액션, 보상 및 다음 상태를 경험 튜플로 재생 버퍼에 저장하는 단계; 및상기 재생 버퍼에 저장된 경험을 기초로 상기 액터-크리틱 네트워크 모델을 업데이트하는 단계를 포함하되,상기 보상은 하기 수학식을 이용하여 계산되는 것을 특징으로 하는 SWIPT와 멀티 캐리어 비직교 다중 접속을 적용한 강화 학습 기반 연합 학습 방법.여기서, 은 IoT 단말 개수를 나타내고, 이며, 이고, 는 계산 에너지 소비량을 나타내고, 는 전송 에너지 소비량을 나타내며, 는 하드웨어 및 칩 아키텍처에 따라 달라지는 계수를 나타내고, 는 1비트의 데이터를 계산하는데 필요한 CPU 사이클 수, 데이터 샘플, 제n IoT 단말의 로컬 반복 횟수를 나타내고, 와 는 각각 제n IoT 단말의 전송 전력과 전송 시간을 나타내며, 는 에너지 페널티를 나타내고, 는 지연 시간 페널티를 나타내고, 는 의 제곱을 나타내고, 는 타임슬롯 t에서 제n IoT 단말의 계산 용량을 나타냄.

제1 항에 있어서,상기 정책은 지연 시간 페널티와 에너지 페널티를 고려하여 모든 IoT 단말의 에너지 소비를 최소화하도록 각 IoT 단말의 자원 할당을 결정하는 것인 것을 특징으로 하는 SWIPT와 멀티 캐리어 비직교 다중 접속을 적용한 강화 학습 기반 연합 학습 방법.

제2 항에 있어서,상기 자원 할당은 각 IoT 단말의 전송 전력 및 CPU 주파수 설정인 것을 특징으로 하는 SWIPT와 멀티 캐리어 비직교 다중 접속을 적용한 강화 학습 기반 연합 학습 방법.

제1 항에 있어서,상기 각 IoT 단말은, 각 타임슬롯에서 서버에서의 글로벌 모델 매개변수 브로드캐스팅시 동시 무선 정보 및 전력 전송 기술(SWIPT: Simultaneous Wireless Information and Power Transfer)에 기반하여 상기 글로벌 모델 매개변수를 수신하고 동시에 에너지를 하베스팅하고,상기 하베스팅된 에너지를 기초로 상기 글로벌 모델 매개변수를 이용하여 구성되는 로컬 모델을 학습시키는 것을 특징으로 하는 SWIPT와 멀티 캐리어 비직교 다중 접속을 적용한 강화 학습 기반 연합 학습 방법.

삭제

제1 항에 있어서,상기 지연 시간 페널티는 하기 수학식을 이용하여 계산되는 것을 특징으로 하는 SWIPT와 멀티 캐리어 비직교 다중 접속을 적용한 강화 학습 기반 연합 학습 방법.여기서, 이되, 는 를 만족하는 IoT 단말을 나타내며, 는 모델 브로드케스트 시간을 나타내고, 는 에너지 하베스팅 시간을 나타내며, 는 업로드 시간을 나타내고, 는 프레임 시간을 나타냄.

제1 항에 있어서,상기 에너지 페널티는 하기 수학식을 이용하여 계산되는 것을 특징으로 하는 SWIPT와 멀티 캐리어 비직교 다중 접속을 적용한 강화 학습 기반 연합 학습 방법.여기서, 이며, 는 배터리 변수를 나타내고, 는 IoT 단말의 계산 에너지 소비를 나타내며,는 IoT 단말의 통신 에너지 소비를 나타내고, 는 하베스팅된 에너지를 나타내되, 는 를 만족하는 IoT 단말을 나타내고, 는 IoT 단말의 잔여 배터리를 나타내고, n은 IoT 단말 인덱스를 나타냄.

제1항 내지 제4항, 제6항, 제7 항 중 어느 하나의 항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록 매체.

적어도 하나의 명령어를 저장하는 메모리; 및상기 메모리에 저장된 명령어를 실행하는 프로세서를 포함하되,상기 프로세서에 의해 실행된 명령어는 각각, 기지국과 복수의 IoT 단말로 구성된 네트워크에 대한 연합 학습 시스템 환경에서 각 타임슬롯 시작시 각 IoT 단말의 현재 상태를 관찰하는 단계-상기 상태는 각 IoT 단말의 현재 에너지 레벨, 로컬 모델 계산 시간 및 업로드 시간을 포함함;상기 현재 상태를 강화 학습 기반 액터-크리틱 네트워크 모델에 적용하여 정책에 따라 액션(action)을 결정하고, 상기 결정된 액션에 상응하는 보상을 계산하는 단계-상기 보상은 각 타임슬롯에서 에너지 페널티와 지연 시간 페널티를 고려한 모든 IoT 단말의 총 에너지 소비량을 이용하여 계산됨;상기 현재 상태, 결정된 액션, 보상 및 다음 상태를 경험 튜플로 재생 버퍼에 저장하는 단계; 및상기 재생 버퍼에 저장된 경험을 기초로 상기 액터-크리틱 네트워크 모델을 업데이트하는 단계를 수행하되,상기 정책은 지연 시간 페널티와 에너지 페널티를 고려하여 모든 IoT 단말의 에너지 소비를 최소화하도록 각 IoT 단말의 자원 할당을 결정하되,상기 보상은 하기 수학식을 이용하여 계산되는 것을 특징으로 하는 컴퓨팅 장치.여기서, 은 IoT 단말 개수를 나타내고, 이며, 이고, 는 계산 에너지 소비량을 나타내고, 는 전송 에너지 소비량을 나타내며, 는 하드웨어 및 칩 아키텍처에 따라 달라지는 계수를 나타내고, 는 1비트의 데이터를 계산하는데 필요한 CPU 사이클 수, 데이터 샘플, 제n IoT 단말의 로컬 반복 횟수를 나타내고, 와 는 각각 제n IoT 단말의 전송 전력과 전송 시간을 나타내며, 는 에너지 페널티를 나타내고, 는 지연 시간 페널티를 나타내고, 는 의 제곱을 나타내고, 는 타임슬롯 t에서 제n IoT 단말의 계산 용량을 나타냄.

제9 항에 있어서,상기 각 IoT 단말은, 각 타임슬롯에서 서버에서의 글로벌 모델 매개변수 브로드캐스팅시 동시 무선 정보 및 전력 전송 기술(SWIPT: Simultaneous Wireless Information and Power Transfer)에 기반하여 상기 글로벌 모델 매개변수를 수신하고 동시에 에너지를 하베스팅하고,상기 하베스팅된 에너지를 기초로 상기 글로벌 모델 매개변수를 이용하여 구성되는 로컬 모델을 학습시키는 것을 특징으로 하는 컴퓨팅 장치.

삭제

기지국; 및복수의 IoT 단말을 포함하되,상기 기지국은 상기 복수의 IoT 단말과의 연합 학습을 위한 에이전트가 설치되되,상기 에이전트는, 기지국과 복수의 IoT 단말로 구성된 네트워크에 대한 연합 학습 시스템 환경에서 각 타임슬롯 시작시 각 IoT 단말의 현재 상태를 관찰하는 단계-상기 상태는 각 IoT 단말의 현재 에너지 레벨, 로컬 모델 계산 시간 및 업로드 시간을 포함함;상기 현재 상태를 강화 학습 기반 액터-크리틱 네트워크 모델에 적용하여 정책에 따라 액션(action)을 결정하고, 상기 결정된 액션에 상응하는 보상을 계산하는 단계-상기 보상은 각 타임슬롯에서 에너지 페널티와 지연 시간 페널티를 고려한 모든 IoT 단말의 총 에너지 소비량을 이용하여 계산됨;상기 현재 상태, 결정된 액션, 보상 및 다음 상태를 경험 튜플로 재생 버퍼에 저장하는 단계; 및상기 재생 버퍼에 저장된 경험을 기초로 상기 액터-크리틱 네트워크 모델을 업데이트하는 단계를 수행하되,상기 정책은 지연 시간 페널티와 에너지 페널티를 고려하여 모든 IoT 단말의 에너지 소비를 최소화하도록 각 IoT 단말의 자원 할당을 결정하되,상기 보상은 하기 수학식을 이용하여 계산되는 것을 특징으로 하는 연합 학습 시스템.여기서, 은 IoT 단말 개수를 나타내고, 이며, 이고, 는 계산 에너지 소비량을 나타내고, 는 전송 에너지 소비량을 나타내며, 는 하드웨어 및 칩 아키텍처에 따라 달라지는 계수를 나타내고, 는 1비트의 데이터를 계산하는데 필요한 CPU 사이클 수, 데이터 샘플, 제n IoT 단말의 로컬 반복 횟수를 나타내고, 와 는 각각 제n IoT 단말의 전송 전력과 전송 시간을 나타내며, 는 에너지 페널티를 나타내고, 는 지연 시간 페널티를 나타내고, 는 의 제곱을 나타내고, 는 타임슬롯 t에서 제n IoT 단말의 계산 용량을 나타냄.