자원 제약이 있는 엣지 디바이스에 언어 모델을 배치하는 일은 모델 크기가 계속 증가함에 따라 매우 어려운 과제이다. 언어 모델의 작업 전이 가능성(task transferability)은 엣지에 대한 배치를 매력적인 응용으로 만든다. 선행 연구인 신경 아키텍처 탐색(NAS)은 하드웨어 효율적인 트랜스포머를 산출해 왔으나, 효율적인 NAS를 위해 종종 일부 아키텍처적 특징을 간과한다. 본 연구는 이전에 탐색되지 않았던 트랜스포머 아키텍처를 탐색하도록 유도하기 위해, 크고 유연한 탐색 공간을 갖춘 새로운 진화적 NAS를 제안한다. 우리의 탐색 공간은 아키텍처의 깊이와 스킵 연결(skip connections)을 통해 아키텍처가 변하도록 하여, 아키텍처 내부 어디에서든 정보를 전달할 수 있게 한다. 가장 높은 탐색 결과를 보인 모델인 Skipformer는 이러한 새로운 아키텍처적 특징을 보여준다. Skipformer의 효율을 더욱 높이기 위해, 학습 동안 각 자기주의(self-attention) 계층에서 CUDA 가속 기반의 attention window 크기를 학습한다. Skipformer는 GPT-2 Small과 비교하여 GLEU 벤치마크에서 정확도 손실이 미미한 가운데, NVIDIA Jetson Nano에서 23.3%의 속도 향상과 19.2%의 메모리 사용량 감소를 달성한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.