우리는 잠재 공간과 교차 주의(cross-attention) 메커니즘을 갖춘 Perceiver IO와, 연산이 주의 없이 이루어지는 Transformer인 Attention-Free Transformer(AFT)를 결합한 새로운 모델인 Perceiver Element-wise Transformer(PET)를 제안한다. Perceiver IO는 대규모 입력 데이터를 효과적으로 처리하는 반면, AFT는 전통적인 점곱(dot-product) 연산을 원소별 곱(element-wise multiplication)으로 대체하여 계산 복잡도와 메모리 사용량을 유의미하게 감소시킨다. 복잡한 로봇 제어 환경에서 수행한 실험 결과, PET는 연산 시간은 11% 감소시키면서 손실(loss) 값은 더 낮게 달성하고 전반적인 테스트 점수는 향상시켰다. 이러한 결과는 일반화 성능과 자원 효율성 측면에서 제안한 모델의 우수성을 입증한다. 전반적으로 본 결과는 PET가 대규모 머신러닝 작업을 위한 유망한 해결책이며, Transformer 아키텍처의 역량을 진전시킬 수 있음을 시사한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.