On-device Machine Learning은 최근 인공지능 기술의 발전과 함께 모바일 기기, 엣지 디바이스 등 다양한 환경에서 직접적으로 인공지능 모델을 실행하는 기술입니다. 기존에는 대규모 서버에서만 가능했던 복잡한 딥러닝 모델(CNN, LLM 등)의 추론을 제한된 자원 환경에서도 실시간으로 처리할 수 있도록 하는 것이 핵심입니다. 이를 위해 모델 경량화, 연산 최적화, 하드웨어 가속(NPU, GPU 등) 등 다양한 기술이 융합되고 있습니다. 본 연구실에서는 DNN 모델의 압축(pruning, quantization)과 같은 경량화 기법, 효율적인 ML 추론 엔진 개발, LLM(대형 언어모델) 서빙 최적화, NPU 아키텍처 설계 및 전용 컴파일러 개발 등 소프트웨어와 하드웨어를 아우르는 연구를 수행하고 있습니다. 특히, 모바일 및 엣지 환경에서의 대규모 언어모델 추론 가속을 위한 Speculative Inference, KV Cache 관리, GPU 메모리 최적화 등 최신 이슈에 대응하는 연구도 활발히 진행 중입니다. 이러한 연구는 모바일 기기, IoT 장치, 자율주행, 스마트 팩토리 등 다양한 산업 분야에서 실시간 인공지능 서비스 구현을 가능하게 하며, 에너지 효율성과 성능을 동시에 확보하는 차세대 인공지능 시스템의 핵심 기반 기술로 자리매김하고 있습니다.

지능형 Storage/Memory System 연구는 대용량 데이터 처리 시대에 CPU와 메모리, 호스트와 스토리지 간의 데이터 이동 병목을 해결하기 위한 혁신적인 시스템 아키텍처를 개발하는 데 중점을 둡니다. 최근에는 메모리 내부에 연산 기능을 탑재한 PIM(Processing-in-Memory), 스토리지 내부에서 직접 연산을 수행하는 ISC(In-Storage Computing) 등 새로운 패러다임이 등장하고 있습니다. 이러한 기술은 데이터 이동을 최소화하여 시스템 전체의 성능과 에너지 효율을 극대화할 수 있습니다. 본 연구실은 PIM 및 ISC 아키텍처 설계, SSD 최적화, 운영체제(OS)와의 연계, ML 기법을 활용한 스토리지 관리 등 다양한 주제를 다루고 있습니다. 예를 들어, 삼성전자 HBM-PIM, 하이닉스 AiM, 삼성전자 SmartSSD 등 실제 산업계와 연계된 첨단 제품 개발에도 기여하고 있습니다. 또한, ZNS(Zoned Namespace) SSD, 파일 시스템 최적화, 가비지 컬렉션, 저널링 등 스토리지 소프트웨어와 하드웨어의 통합적 성능 향상 방안도 연구의 중요한 축입니다. 이러한 연구는 빅데이터, 클라우드, AI 데이터센터, 자율주행, IoT 등 데이터 집약적 응용에서 필수적인 고성능·고신뢰·저전력 스토리지 시스템 구현에 기여하며, 차세대 컴퓨팅 인프라의 핵심 기술로 주목받고 있습니다.

딥러닝 및 머신러닝 모델의 하드웨어 가속을 위해서는 전용 하드웨어(NPU, PIM 등)에 최적화된 컴파일러와 아키텍처 설계가 필수적입니다. 본 연구실은 ML 모델을 효율적으로 하드웨어에 매핑하고, 연산 병목을 최소화하며, 에너지 효율을 극대화하는 컴파일러 기술과 아키텍처 설계에 집중하고 있습니다. 예를 들어, 텐서-트레인 분해, 구조적 가지치기, 저정밀 연산 등 다양한 모델 최적화 기법을 실제 하드웨어에 적용할 수 있도록 컴파일러 레벨에서 지원합니다. 또한, NPU 및 PIM 아키텍처의 설계와 검증, 메모리 계층 구조 최적화, 멀티코어 및 GPU와의 연계 등 하드웨어-소프트웨어 코디자인(Co-Design) 연구도 활발히 이루어지고 있습니다. 이를 통해 모바일, 엣지, 서버 등 다양한 환경에서 최적의 ML 추론 성능을 달성할 수 있습니다. 이러한 연구는 차세대 인공지능 칩 설계, 엣지 AI, 자율주행, 스마트 디바이스 등 다양한 분야에서 실질적인 성능 향상과 에너지 절감을 실현하며, 국내외 반도체 및 AI 하드웨어 산업 발전에도 크게 기여하고 있습니다.