구조적 희소성 기반 모바일 비전 트랜스포머/영상 가속 연구

Mobile Vision Accelerator Research via Structured Sparsity

연구 내용

구조적 희소성(헤드/라인/블록 단위)과 타일 기반 동적 양자화를 활용해 모바일 비전 모델을 저전력으로 가속하는 연구

모바일·임베디드 환경에서 트랜스포머 기반 비전 모델의 메모리·연산 병목을 낮추기 위해 구조적 희소성 형태를 추적하는 가속기 설계를 수행합니다. 헤드 단위 스킵을 지원하는 스케줄링과 처리 엔진 간 부하 불균형을 완화하는 재구성 전략을 적용하고, 라인/블록 스킵을 지원하는 sparse GEMM 모듈을 구현합니다. 또한 타일 기반 동적 quantization으로 입력 특성에 맞춘 정밀도 조정을 통해 연산 효율을 확보합니다. 실시간 영상 분석에서는 키 프레임 중심 파이프라인 스킵과 가변 비트 근사로 불필요한 연산을 줄이는 하드웨어 효율화를 함께 다룹니다.

관련 프로젝트

0건

연구 흐름

초기에는 pruning이 만들어내는 head-wise, line-wise, block-wise 구조적 희소성의 연산 패턴을 분석하고, 이를 직접 활용하는 low-power accelerator 구조를 정립하는 데 집중하였습니다. 이후 head reorganization 및 shuffling으로 스킵 연산 지원과 처리 엔진 부하 균형을 개선하고, sparse GEMM에서 라인/블록 스킵을 일관되게 처리하도록 모듈화를 확장하였습니다. 최근에는 타일 기반 동적 quantization을 결합해 정밀도-전력 간 트레이드오프를 공정 수준에서 제어하며, 실시간 영상 분석 분야로는 detection–tracking 파이프라인에서 optical flow 기반 프레임 선택과 가변 LSB 근사 방식을 적용해 에너지 효율 향상을 목표로 연구를 확장하고 있습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

모바일 비전 트랜스포머 추론 가속
구조적 희소성 활용 가속기 IP
Sparse GEMM 하드웨어 모듈
타일 기반 동적 quantization 엔진
실시간 비디오 분석 파이프라인 스킵
가변 LSB 근사 연산 블록
저전력 영상 추적 가속
임베디드 AI 전력-지연 최적화
FPGA/ASIC 기반 비전 추론 설계
경량 입력 적응형 추론 경로