AdapTive-LeArning Speculator System (ATLAS): 通过运行时学习加速器实现LLM推理的新范式

这篇文章重点介绍了ATLAS，一个通过运行时学习来提高LLM推理速度的新系统。主要声称是在无需手动调整的情况下，实现了比基线性能快4倍的速度提升，并在DeepSeek-V3.1上达到了500 TPS。重点在于自适应加速。

• •ATLAS是一个用于加速LLM推理的新系统。
• •它使用运行时学习加速器。
• •在无需手动调整的情况下，实现了比基线快4倍的速度提升。
• •在DeepSeek-V3.1上提供500 TPS。