苹果新Transformer架构大幅提升AI推理速度

苹果正在彻底改变基于Transformer的**大语言模型 (LLM)** 的**推理**速度！ 他们的新架构方法，即 Parallel Track (PT) **Transformer**，承诺将大大减少 GPU 之间的同步。这对于任何使用资源密集型 AI 模型的人来说都是一个改变游戏规则的存在。

• •Parallel Track (PT) **Transformer** 旨在最大限度地减少跨设备依赖性。
• •新架构旨在解决通信瓶颈。
• •这项创新可能导致在 GPU 上更快、更有效的**推理**。