M5 Max MacBook Pro 在生成式人工智能推理性能上超越 M3 Max
分析
M5 Max MacBook Pro 在生成式人工智能应用方面展现出显著的性能飞跃。基准测试表明，在多个大语言模型上的推理任务中，速度得到了大幅提升，批处理和上下文窗口大小也起到了关键作用。这表明，开发周期可以缩短，AI驱动的应用也可以更快地响应。
要点
引用 / 来源
查看原文"在较长上下文中，差距会扩大。在65K时，27B dense 在 M3 Max 上降至 6.8 tg tok/s，而在 M5 Max 上降至 19.6 (2.9倍)。"