제13항에 있어서,상기 강화 학습은,상태(state)로서 상기 센서 노드에서 상기 싱크 노드로 전송하는 데이터 패킷의 지연시간을 적용하고,행동(action)으로서 상기 센서 노드에서 상기 싱크 노드로 전송하는 데이터 패킷을 위한 프레임 길이 및 패킷 수를 적용하고,보상(reward)으로서 상기 센서 노드에서 상기 싱크 노드로 데이터 패킷 전달의 품질을 적용하는 큐-러닝 기법인 싱크 노드 장치.

삭제

싱크 노드를 중심으로 다수의 센서 노드들이 전송을 하는 무선 센서 네트워크 시스템에서 수행되는 사물 인터넷 패킷 스케쥴링 제어 방법에 있어서,센서 노드로부터 현재 전송 대기중인 데이터 패킷의 상태를 싱크 노드로 전송하는 단계; 상기 싱크 노드에서 강화 학습을 이용하여 상기 센서 노드의 데이터 패킷의 상태를 학습하는 단계;학습된 결과에 따라 다수 개의 센서 노드들로부터의 데이터 패킷 전달을 스케쥴링하는 단계; 및스케쥴링에 의해 결정된 각 센서 노드가 이행할 프레임 크기와 전송할 패킷의 수를 상기 각 센서 노드에게 전송하는 단계를 포함하되,상기 스케쥴링하는 단계에서는,새로운 센서 노드의 연결시, 기존의 학습이 가장 활발한 센서 노드의 가치 테이블(value table)을 복사하는 사물 인터넷 패킷 스케쥴링 제어 방법.

제1항에 있어서,상기 각 센서 노드로부터 전송에서 결정한 상기 프레임 크기와 전송할 패킷의 수를 적용하여 전송한 결과를 상기 강화 학습에 적용하는 단계를 더 포함하는 사물 인터넷 패킷 스케쥴링 제어 방법.

제1항에 있어서,상기 센서 노드의 데이터 전송을 위한 보상 함수를 설계하는 단계를 더 포함하는 사물 인터넷 패킷 스케쥴링 제어 방법.

제3항에 있어서,상기 보상 함수를 설계하는 단계에서는,큐-러닝 기법을 이용하여 네트워크 수명과 전송율을 극대화하기 위한 보상함수(reward function)를 설계하는 사물 인터넷 패킷 스케쥴링 제어 방법.

제1항에 있어서,상기 강화 학습은,상태(state)로서 상기 센서 노드에서 상기 싱크 노드로 전송하는 데이터 패킷의 지연시간을 적용하고,행동(action)으로서 상기 센서 노드에서 상기 싱크 노드로 전송하는 데이터 패킷을 위한 프레임 길이 및 패킷 수를 적용하고,보상(reward)으로서 상기 센서 노드에서 상기 싱크 노드로 데이터 패킷 전달의 품질을 적용하는 큐-러닝 기법인 사물 인터넷 패킷 스케쥴링 제어 방법.

제5항에 있어서,상기 상태(state)는 하기 수학식에 따라 설정되는 사물 인터넷 패킷 스케쥴링 제어 방법.상태 = (d_1, d_2, ... , d_k)(d_k는 큐에 있는 k번째 패킷의 지연시간(delay))

제5항에 있어서,상기 상태(state)는 하기 수학식에 따라 설정되는 사물 인터넷 패킷 스케쥴링 제어 방법.상태 = (r_1, r_2, ... , r_k) (r_k는 큐에 있는 k번째 패킷의 잔존 지연시간)

제5항에 있어서,상기 행동(action)은 하기 수학식에 따라 설정되는 사물 인터넷 패킷 스케쥴링 제어 방법. 행동 = (L, n_1, n_2, ... n_N)(L은 프레임의 길이, n_k는 k번째 센서노드가 이번 프레임에서 보낼 패킷의 수)

제5항에 있어서,상기 보상(reward)은 하기 수학식에 따라 설정되는 사물 인터넷 패킷 스케쥴링 제어 방법. 보상 = L x QoS(L은 프레임의 길이, QoS는 행동을 통해서 지시한 각 센서노드별 전송할 패킷의 수가 얼마나 효과적인지를 나타내는 지표)

제1항에 있어서,상기 스케쥴링하는 단계는,학습된 결과에 따라 프레임 크기를 결정하는 단계; 및 학습된 결과에 따라 각 센서노드에 대하여 각 프레임에서 전송할 패킷의 수를 결정하는 단계를 포함하는 사물 인터넷 패킷 스케쥴링 제어 방법.

제1항에 있어서,상기 스케쥴링하는 단계에서는,다수의 센서 노드들에 대한 강화 학습은 각 센서 노드별로 개별적으로 수행하되, 학습 결과 행동에 대한 불일치가 발생하는 경우, 활용(exploitation)으로부터 도출된 행동에 우선 순위를 부여하는 사물 인터넷 패킷 스케쥴링 제어 방법.

삭제

각 센서 노드로부터 센싱 데이터가 담긴 패킷을 수신하는 센서 노드 수신부;각 센서 노드에서의 데이터 전송을 위해 설계된 보상 함수 및 각 센서 노드의 상태 정보가 기록된 저장부;각 센서 노드에 대하여 결정된 프레임 크기 및 패킷 수를 전송하는 센서 노드 송신부;강화 학습을 이용하여 각 센서 노드 상태에 대한 프레임 크기 및 패킷 수를 학습하는 강화 학습부; 및상기 학습부의 학습된 결과에 따라 각 센서 노드에 대하여 프레임 크기 및 패킷 수를 결정하는 스케쥴러를 포함하되, 상기 강화 학습부는, 싱크 노드 장치가 담당하는 센서 노드들 각각에 대하여 강화 학습을 지속적으로 계속 수행하되, 각 센서 노드에 대하여 현재 시점까지 완료된 강화 학습 결과를 상기 저장부에 각 센서 노드를 위해 할당된 영역에 저장하는 싱크 노드 장치.