제안하는 빅데이터 분석 프레임워크는 아래 4개의 단계로 구성되며 각 단계의 주요 연구 내용은 다음과 같음 [1단계] 데이터 특성 파악 & 데이터 표현형 생성 1) Clustering Engine과 Feature Interaction Analyzer는 전체 데이터로부터 데이터 구조와 데이터 특징 간 연관관계를 분석하며 Representation Learner는 이를 활용하여 고품질의 데이터 표현형을 생성함 2) Clustering Engine은 다양한 군집 간 분리도 (Cluster Separability) 분석 기능을 포함하여 하며 LSH (Locality-Sensitive Hashing) 기반 샘플링 기법 [BCWS] 을 이용하여 차원 축소 후 군집화함으로써 반복되는 군집화의 시간 비용을 절약하고자 함 3) Feature Interaction Analyzer와 Representation Learner는 FM (Factorization Machine)과 신경망을 결합한 Neural FM 구조를 기반으로 함. 두 부분이 통합되어 동시에 학습될 수도 있음 4) Feature Interaction Analyzer에서 2018년 Amazon에서 제안한 것처럼 다양한 고차특징 (High-order Feature)을 생성한 후 이를 분석하여 표현형 학습에 사용하는 방식도 고려함 [2단계] 목적함수 구성 & 지식 활용 1) Objective Function Generator는 1단계에서 학습한 데이터 구조, 데이터 특징 간 연관관계 및 데이터 표현형을 통합적으로 활용하여 목적함수를 구성함 2) Knowledge-aware DNNs는 다양한 신경망을 결합하여 구성할 계획인데 기본적으로는GAN과 다중작업학습(MTL)에 기반한 신경망 구조를 사용함. 비지도학습이 아니라 가용 빅데이터 전체를 사용한 준지도학습을 시행하며 관련 도메인의 다른 빅데이터와 여러 목적함수들을 이용하여 동시 학습을 진행함으로써 더 강건한 (Robust) 데이터 표현형으로 개선하고 이에 바탕 하여 고품질의 딥러닝을 수행하고자 함 3) 이 때, 주어진 빅데이터를 위한 다중작업학습(MTL)을 실행하기 위하여 다양한 도메인의 빅데이터 및 메타데이터를 이미 보유하고 있다고 가정함 4) Knowledge-aware DNNs 내에 패턴 추출을 위한 지식을 학습하기 위하여 주의집중 신경망 (Attention Network)을 포함하고자 하며, 이는 주어진 데이터의 주요 특성에 해당하는 선택적 주의집중 정도를 학습하게 됨 [3단계] 데이터 탐색 & 지식 추출 1) Knowledge Explorer는 데이터 분석을 통한 지식 추출을 원하는 사용자에게 데이터 분석의 결과 도출된 지식 (주요패턴, 유사도, 새로운 군집 정보 등)을 제공하는 부분으로, 사용자는 Knowledge Explorer를 통해 이를 탐색하고 주요 지식을 추출하는 활동을 함 2) Knowledge Explorer는 1단계와 2단계의 중간/최종 결과물들 (군집 정보, 특징 간 상호작용 정보, Knowledge-aware DNNs 내 정보 등)을 통합적으로 활용하여 지식을 도출하여야 하는데, Knowledge Explorer를 위한 알고리즘이 전체 데이터 분석 프레임워크 가운데 가장 연구 난이도가 높을 것으로 예상됨 [4단계] 지식 추출 및 활용의 선순환 1) Knowledge Explorer를 통해 추출한 사용자가 추출한 신규 지식을 전체 분석 프레임워크에 반영할 때 이러한 작업이 반복될 수 있으므로 프레임워크 내 모든 부분이 점진적으로 개선되도록 각 알고리즘의 효율성을 향상해야 함 2) 추출된 지식의 활용을 통하여 예측정확도의 추가 향상과 더 고품질의 지식 추출이 동시에 가능해야 함