모니터링·검증을 위한 데이터 레이크하우스와 분산 컴퓨팅 자원 할당 연구
Data Lakehouse and Distributed Computing for Monitoring and Validation
연구 내용
선박·자율주행 검증 데이터의 이기종을 레이크하우스로 통합하고, 분산 환경에서 자원 할당과 스토리지 신뢰성을 함께 설계하는 연구
본 연구는 대규모·이기종 데이터를 수집·저장·활용하는 구조를 중심으로 수행합니다. 선박 도메인에서는 데이터 레이크-웨어하우스-애플리케이션으로 구성된 lakehouse 아키텍처를 통해 이기종 해양 데이터를 통합하고, AIS 활용 분석 서비스를 직접 연결합니다. 또한 HPC/AI 연산 환경에서는 multi-agent deep reinforcement learning 기반 자원 할당으로 시스템 활용도와 전력 소모 효율을 함께 고려합니다. 분산 스토리지 관점에서는 cloud-native edge 인프라에서 blockchain 기반 분산 저장 설계를 적용해 데이터 신뢰성과 보안 요구를 다룹니다. 자율주행에서는 V2X-Car edge cloud와 DCU를 활용해 악천후 SiLS 데이터 수집·검증 환경을 설계합니다.
관련 연구 성과
관련 논문
4편
관련 특허
0건
관련 프로젝트
6건
연구 흐름
초기에는 모니터링 데이터의 증가와 이기종성 문제를 해결하기 위해 lakehouse 계층 구조를 설계하고, 선박 분석용 데이터 통합 절차를 구축했습니다. 이후 대규모 AI 작업을 실행하는 HPC/AI 컨버ged 시스템에서 자원 할당을 자동화하기 위해 mDRL 기반 제어 방향을 도입했습니다. 동시에 분산 환경에서 데이터 관리의 신뢰성 문제를 blockchain 기반 스토리지로 확장하고, 마지막으로 자율주행 검증에서는 V2X 연계 가상 주행 테스트 환경으로 악천후 시나리오 기반 데이터를 체계화하는 흐름으로 연구가 이어졌습니다.
활용 가능성
활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.
- 선박 AIS 기반 데이터 통합
- 데이터 레이크하우스 기반 분석 서비스
- 이기종 센서 데이터 모델링
- HPC/AI 자원 할당 자동화
- 분산 스토리지 신뢰성 검증
- cloud-native edge 스토리지 설계
- 자율주행 SiLS 데이터 수집·검증
- 악천후 시나리오 가상 검증
- 데이터 처리 파이프라인 최적화
- 분석용 데이터 품질 관리
관련 논문
구분
제목
Design of Vessel Data Lakehouse with Big Data and AI Analysis Technology for Vessel Monitoring System
Multi-Agent Deep Reinforcement Learning-Based Resource Allocation in HPC/AI Converged Cluster
Blockchain-Based Decentralized Storage Design for Data Confidence Over Cloud-Native Edge Infrastructure
Design of Virtual Driving Test Environment for Collecting and Validating Bad Weather SiLS Data Based on Multi-Source Images Using DCU with V2X-Car Edge Cloud
관련 프로젝트
구분
제목
E2E 자율주행 레퍼런스 데이터 구축 및 기반 기술개발
E2E 자율주행 레퍼런스 데이터 구축 및 기반 기술개발
AI-혁신신약 연구단
인공지능을 활용한 효과적 잡음 제거 기술 개발을 통한 3차원 객체 추정 최적화
데이터 기반 생활폐기물 수집 운반 업무 혁신
(InnoCORE) 바이오 체화형 피지컬 AI 연구단(DGIST)