최종 개발 목표는 빅데이터 분석의 전 과정을 자동화하여 3분 이내에 완료할 수 있는 고성능 알고리즘과 이를 실행할 수 있는 클라우드 기반 통합 플랫폼을 구축하는 것임. 이 플랫폼은 데이터 전처리, 통계 분석, 머신러닝 모델링, 시각화 등을 포함한 통합 솔루션을 제공하며, 사용자가 손쉽게 대규모 데이터를 분석하고 의사결정을 내릴 수 있도록 지원함.또한, 개발...

기존 범용 서버 환경상의 사물인터넷 공간에서 실시간으로 발생하는 방대한 양의 데이터를 하나의 서버에 집중시켜 디스크 기반의 중앙 집중식 데이터를 처리하는 방식은 네트워크의 부하, 처리 지연 및 관리 비용 측면에서 비효율적이다. 또한 구조적 프로그래밍을 통한 중앙 집중식 또는 조립식 (Coarse-grain) 분산 컴퓨팅 방식은 내장형인 엣지 서버에서 적용이 불가능하여 엣지 서버 환경의 컴퓨팅 자원을 효과적으로 사용할 수 없다. 이에 따라 센서 데이터를 수집하여 저장/전송 하지 않고 발생지 주변에서 데이터를 처리하는 기술인 엣지 컴퓨팅 기술을 도입하여 인메모리 기반의 분산 데이터 스트림 처리 기술을 활용해 센서 데이터의 이동을 최소화하여 처리 지연을 해결한다. 엣지 서버에는 데이터를 디스크가 없이 제한된 메모리공간과 무한히 발생하는 센서 데이터를 제한된 컴퓨팅 능력으로 실시간 처리해야한다. 또한 작은 메모리 공간으로 인해 적재 가능한 소스코드의 크기도 제한적이다. 이에 따라 본 연구진은 작은 메모리 환경에서 다양한 데이터 분석이 가능하도록 단일 소스 다중 활용(One Source Multi Use: OSMU)이 가능한 다중 데이터 스트림 마이닝 소스코드 체계를 연구하고 이를 기반으로 한다. 또한, 엣지 서버에는 실시간 데이터 스트림을 저장하지 않고 1회 스캔으로 다양한 지식패턴을 동시에 찾는 단일 스캔 다중 요약패턴(One Scan Multi Summarization)기능을 구현하여 엣지서버 위치 중심으로 시공간적으로 연계된 복합 지식 패턴을 추출할 수 있는 기술을 연구한다. 마지막으로 하나의 엣지 서버가 공간의 모든 센서 처리 작업 연산을 한번에 처리하는 것이 불가능하므로 여러 엣지 서버들이 하나의 작업을 단계적으로 처리하고 여러 공간들의 지식패턴 정보 를 의미 계층별로 분석하기 위해 지식 패턴의 공유와 데이터 이동이 가능한 다단계/다계층(Multi Step/Multi Layer) 엣지 컴퓨팅 프레임워크를 구축하고자 한다.

본 과제는 미래 사물인터넷에서 엣지서버가 여러 센서 데이터스트림을 실시간으로 읽고, 시공간적으로 연계된 복합 지식패턴을 요약해 주는 기술 개발임. 연구 목표는 제한된 컴퓨팅 자원을 갖는 엣지서버에서 다중 데이터스트림 마이닝 알고리듬 결과 패턴을 동시에 추출하는 One Source Multi Use(기술), One Scan Multi Summarization(기능), Multi Step/Multi Layer 엣지 컴퓨팅 프레임워크를 구축하는 데 있음. 기대 효과는 중앙 집중식 처리의 부하·지연·대역폭 제약을 줄이고 IoT 데이터 증가에 대비하며 교통·치안·복지·에너지 분야 공공서비스 및 예산 절감에 기여함.