Large-Scale Machine Learning Systems Lab.

인하대학교 본교(제1캠퍼스)
이선우 교수 컴퓨터공학과

Computer Science and Engineering

컴퓨터

연구실 소개

대형 머신러닝 시스템 연구실은 컴퓨터공학과 소속으로, 대형 연합 학습, 분산 최적화, 딥러닝 시스템, 반도체 및 전자소재 분석 등 다양한 연구 분야에서 활발히 활동하고 있습니다. 최근 3년간 주요 연구 프로젝트로는 한국연구재단의 '시스템 인지 전이학습을 통한 초대형 이종 연합학습'과 Mondria AI와의 산학협력과제인 '이종 GPU 클라우드 시스템을 위한 비동기식 병렬 신경망 훈련기술 연구'가 있습니다. 또한, 인공지능융합혁신인재양성 프로젝트와 소프트웨어중심대학사업에도 참여하고 있습니다. 연구실은 연합 학습과 관련된 다수의 논문을 발표하였으며, 특히 'Embracing Federated Learning: Enabling Weak Client Participation via Partial Model Training'과 'Overcoming Resource Constraints in Federated Learning: Large Models Can Be Trained with only Weak Clients' 등의 연구로 주목받고 있습니다. 이러한 연구 성과를 통해 대형 머신러닝 시스템 연구실은 관련 분야에서 선도적인 위치를 차지하고 있습니다.

연합 학습

분산 최적화

딥러닝 시스템

반도체 분석

연구 분야

초대형 연합 학습에서의 부분 모델 훈련 및 성능 보장

초대형 연합 학습 시스템은 자원이 제한된 클라이언트에서도 효율적으로 훈련할 수 있는 새로운 방법론을 연구하고 있습니다. 특히, 부분 모델 훈련 방식을 통해 자원이 부족한 클라이언트에서도 참여할 수 있는 환경을 조성하며, 이를 통해 연합 학습 과정에서의 성능 보장을 목표로 하고 있습니다. 이 연구는 다양한 클라이언트 환경을 고려한 시스템 설계 및 최적화에 중점을 두고 있으며, 실제 적용 가능한 수준의 성능 향상을 지향합니다.

분산 최적화를 통한 대규모 신경망 훈련의 효율성 향상

효율적인 딥러닝을 위해 대규모 신경망 훈련에서의 분산 최적화 기법을 연구하고 있습니다. 특히, 모멘텀 기반의 L-BFGS 알고리즘을 활용하여 분산 환경에서 대규모 신경망을 효과적으로 최적화하는 방법을 탐구합니다. 이 연구는 병렬 처리와 최적화 기법의 조합을 통해 대규모 데이터셋에서 신경망의 훈련 속도와 성능을 개선하는 데 목적을 두고 있습니다.