본 연구는 O-RAN (Open Radio Access Network) 환경에서 지능형 RAN 컨트롤러 (RIC)를 활용하여, 복잡한 네트워크 자원 할당 문제를 효과적으로 해결하기 위한 구조인식 심층 강화학습 기반의 최적화 기술을 개발하는 것을 목표로 한다. 특히, 무선 자원 할당 문제를 마르코프 결정 과정 (MDP)으로 모델링하고, 상황 컨텍스트·네트워크...
구조인식 강화학습
심층강화학습
개방형 무선접속망
컨텍스트 인식
자원 할당
2
2021년 2월-2025년 2월
|85,875,000원
스마트기기와 엣지 클라우드를 위한 학습 기반 네트워크 트래픽 스케줄링
스마트 기기의 리소스 관리를 위해 사용자들의 앱/트래픽 사용패턴을 수집하고 엣지 클라우드를 활용한 네트워크 트래픽 스케줄링 아키텍처를 설계한다. 미래 상황 예측과 강화학습 기반 최적 스케줄링 알고리즘을 개발하고 안드로이드 스마트 기기와 엣지 클라우드에 구현하여 사용자 실험을 통해 검증한다. 본 연구의 첫 번째 세부목표로 사용자들의 앱별 트래픽 패턴과 스마트...
제안하는 네트워크 트래픽 스케줄링 아키텍처는 스마트 기기와 가까운 엣지 클라우드에 스마트 기기의 클론을 두고 이를 통해 네트워킹 서비스를 우회적으로 제공한다. 엣지 클라우드의 클론은 스마트 기기를 대신해 각각의 서버와 교신하며, 서버로부터 발생한 트래픽 또는 알림을 인공지능 학습 알고리즘으로 분석한 뒤 적절한 시점에 스마트 기기에게 모아서 보내준다. 스마트 기기로부터 앱별 사용빈도 및 중요도 피드백을 받고 서버로 업로드하는 트래픽의 경우 엣지 클라우드에 버퍼링 후 스마트 기기와 클론 사이의 세션은 종료하고 클론이 대신 서버로 업로드해준다.
1: 알고리즘의 개발과 검증을 위해 먼저 사용패턴 데이터 및 운영체제 로그를 수집한다. 수집된 데이터를 분석하여 각 인자별 상관관계를 파악한다. 앱 사용 간의 상관관계를 파악하고 궁극적으로 트래픽이 발생하는 패턴 및 네트워크 상황을 예측할 수 있는 입력 인자들을 선별한다.
2: 네트워크 상황과 트래픽 발생패턴을 예측하는데 학습 기반 알고리즘을 도입한다. 선별한 입력 인자들을 사용하여 예측 알고리즘의 복잡도를 낮추고 스마트 기기의 추가 측정 오버헤드를 최소화한다. 엣지 클라우드에 존재하는 가상의 클론이 스마트 기기를 대신하여 알림 서버 및 각 앱의 서버와 통신할 수 있도록 아키텍처를 설계한다.
3: 수집된 운영체제 구동 로그를 기반으로 엣지 클라우드가 포함된 스케줄링 아키텍처를 시뮬레이터로 구현한다. 스마트 기기의 네트워크 상황을 상태 변환 머신으로 모델하고 엣지 클라우드의 트래픽 스케줄링 및 리소스 관리 문제를 마르코프 결정 과정 문제로 모델한다. 불규칙 변화 환경에 적응적인 강화학습 기반 스케줄링 알고리즘을 제안한다.
4: 제안한 아키텍처와 학습 기반 스케줄러를 모두 결합하여 안드로이드 시스템과 엣지 클라우드 서버에 구현한다. 구현 시스템을 테스트베드로 시연하고 구현 시스템을 장기간 실험하며 피드백을 통해 시스템 구현 및 스케줄러를 개선한다.
5: 스마트 기기 사용자 실험을 진행하고 구동 로그를 수집하여 평가한다.
스마트 기기는 이제 인간의 삶에서 필수적인 역할을 담당하고 최근 사물인터넷의 발달로 생활 속에서 접하는 많은 사물들 (예. 자율주행자동차, 웨어러블 기기, 스마트 스피커, 기타 전자제품)이 스마트 기기로 대체되는 지능형 사물인터넷의 시대가 곧 다가올 것으로 기대된다. 엣지 클라우드는 중앙 집중 클라우드를 분산시키고 스마트 모바일 기기의 스토리지 역할 뿐만 아니라 컴퓨팅과 네트워킹을 네트워크 엣지에서 지원하는 장치로써 활발한 연구가 이루어지고 있지만 아직까지는 킬러 애플리케이션 및 시나리오가 부족하다.
본 연구의 주요 개념은 [그림 1]과 같다. 스마트 기기와 가까운 엣지 클라우드에 스마트 기기의 클론 (clone)을 두고 이를 통해 네트워킹 서비스를 우회적으로 제공한다. 엣지 클라우드의 클론은 스마트 기기를 대신해 각각의 서버와 교신하며, 서버로부터 발생한 트래픽 또는 알림 (Notification)을 인공지능 학습 알고리즘으로 분석한 뒤 적절한 시점에 스마트 기기에게 모아서 보내준다. 스마트 기기로부터 앱별 사용빈도 및 중요도 피드백을 받아 학습하고, 서버로 업로드하는 트래픽의 경우 엣지 클라우드에 버퍼링 후 스마트 기기와 클론 사이의 세션을 종료하고 클론이 대신 서버로 업로드한다. 학습 기반 사용패턴 및 네트워크 상황 예측과 최적 트래픽/알림 스케줄링 기술이 이론적인 핵심 연구로 테스트베드 구현과 사용자 실험을 통해 검증한다.
스마트폰 등 지능형 사물이 늘어남에 따라 사용자 취향에 맞춘 개인화와 배터리·연산 같은 리소스 관리가 필수임. 본 연구는 안드로이드 사용자 사용패턴과 운영체제 로그·전력 사용량을 수집해 강화학습 기반 운용 알고리즘을 개발하는 연구임.
연구목표는 Multi-armed Bandit과 Markov Decision Process로 Non-stationary environments에서 최적 운용을 제안함. 연구내용은 Online Classification 및 Q-learning, 초기 학습시간 단축을 위한 분류와 Unsupervised learning(사용자 그룹화)을 결합하고 안드로이드 시스템 관리자 모드에 구현해 시뮬레이션·실기기 구동으로 성능 평가함. 기대효과는 사용자 만족도 증가와 배터리 사용시간 증가 및 지능사물·스마트홈·광고/추천 서비스에 확장 가능함.