夜莺：用于LLM服务的动态自适应推测解码

本文解决了在实际服务场景中，大型语言模型（LLM）的推测解码（SD）的一个关键限制。标准的SD使用固定的推测长度，在高负载下可能会损害性能。Nightjar引入了一种基于学习的方法来动态调整推测长度，通过适应不同的请求速率来提高吞吐量和延迟。这很重要，因为它使SD更适合用于生产LLM服务。

• •Nightjar是一种用于自适应推测推理的基于学习的算法。
• •它根据请求负载动态调整推测长度。
• •当推测解码没有带来好处时，它可以禁用它。
• •与标准SD相比，实现了更高的吞吐量和更低的延迟。