인스턴스 분할은 자율주행 및 의료 영상 분석과 같은 고정밀 컴퓨터 비전 응용에서 핵심적인 역할을 한다. 모델 정확도와 프라이버시를 보존하는 솔루션 모두에 대한 요구가 계속 증가함에 따라, 엣지 디바이스에서 직접 안전하고 적응적인 학습을 가능하게 하기 위한 온디바이스 학습이 주목받고 있다. 그러나 인스턴스 분할 모델에 내재된 막대한 연산량과 복잡한 데이터 흐름은 자원 제약 환경에서 실시간 학습을 달성하는 데 큰 장벽이 된다. 온디바이스 학습에 관한 선행 연구는 주로 이미지 분류에 초점을 맞춰 왔지만, 인스턴스 분할 학습을 위한 효율적인 하드웨어 가속은 상대적으로 탐색되지 않은 상태이다. 본 연구에서는 인스턴스 분할 모델 학습을 위해 특별히 설계된 최초의 FPGA 기반 하드웨어 가속기인 TETRIS를 제안한다. TETRIS는 채널 인지 스무딩 양자화(channel-aware smoothing quantization)와 분포 인지 타이 양자화(distribution-aware tie quantization)를 포함하는 구조적 최적화 및 양자화 인지 최적화를 도입하여, 연산 및 메모리 오버헤드를 모두 유의하게 감소시킨다. 또한 TETRIS는 이기종 하드웨어 아키텍처를 채택하여, 가변 커널 크기를 지원하는 재구성 가능 컨볼루션 처리 유닛(RC-PU)과 특수 연산을 효율적으로 처리하기 위한 완전 파이프라인 보조 처리 유닛을 통합한다. YOLACT 기반 인스턴스 분할 과제에 대한 실험 평가 결과, TETRIS는 805.9 GOPS의 피크 성능과 69.5 GOPS/W의 에너지 효율을 달성하여, 자원 제약이 있는 엣지 환경에서도 실시간 학습을 지원할 수 있음을 확인한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.