基于熵感知的推测解码提升LLM推理能力

本文介绍了一种名为“基于熵感知的推测解码”（EASD）的新方法，用于增强大型语言模型（LLM）的推测解码（SD）性能。 关键创新在于使用熵来惩罚草稿模型中置信度较低的预测，从而允许目标LLM纠正错误并有可能超越其固有性能。 这是一个重要的贡献，因为它解决了标准SD的一个关键限制，即通常受到目标模型性能的约束。 论文的论点得到了实验结果的支持，这些结果表明在推理基准测试中性能有所提高，并且效率与标准SD相当。

• •EASD 是对推测解码的无训练增强。
• •EASD 使用熵来识别和纠正低置信度的预测。
• •EASD 可能会超越目标 LLM 的性能。
• •EASD 保持了与标准推测解码相当的效率。