1년차 - 효율적인 데이터 수집 및 수집 coverage 개선 ◦ 분산 웹 크롤링 기반 수집의 효율성 및 coverage 개선 연구 (선행연구: Complete and Fast Tweet 수집[12]). 다수의 수집기를 통해 수집된 데이터의 효과적인 중복제거 파이프라인 설계 및 구현 - 데이터 ingestion 구조 설계 및 최적화 ◦ Producer(데이터 수집)와 consumer(데이터 처리)의 속도 차이를 고려한 Kafka기반 데이터 ingestion 구조 설계 및 최적화를 통해 처리 가능한 데이터 coverage 및 처리속도 개선 2년차 - 분산학습 모델 개발 ◦ 기존 학습 모델에 대한 분산 학습모델 개발을 통한 모델 학습 및 추론의 효율화 (선행연구: 이미지 세그멘테이션을 위한 Spark기반 분산 알고리즘). 학습 모델의 물리적 분할 및 통합 모델의 설계 - 연합학습으로의 확장 적용 ◦ Edge computing에서의 pretrained model의 분배를 통한 확장성있는 전이 연합학습 모델 개발 (선행연구: 스마트 빌딩에서의 연합학습) 3년차 - 분산학습 모델의 점진적인 업데이트 ◦ 분산 파이프라인에서 지속적으로 유입되는 데이터를 모델에 반영하는 점진적 분산 학습 모델 개발. 분산 환경에서의 데이터 Ingestion과 학습 모델 구축의 연계를 통한 분산 데이터 파이프라인 구축 - Real World 벤치마크 정의 및 성능 평가 ◦ 이미지, 자연어, 로그, SNS 등 실제 데이터와 데이터 규모 및 신규 데이터 생성 속도 변화에 따른 합성 데이터를 생성하여 벤치마크 데이터 셋을 정의하고, 제안한 점진적 분산학습 모델의 성능평가를 수행