Show HN: 加速LLM推理2倍（可能）

这个Hacker News帖子介绍了一个项目，旨在通过动态调整推理期间的计算负载来加速LLM推理。核心思想是在保持可接受的输出质量的同时，执行更少的权重乘法（可能为20-25%）。该实现针对M1/M2/M3 GPU，并且目前比Llama.cpp更快，具有进一步优化的潜力。该项目还允许实时调整速度/准确性以及选择性加载模型权重，从而提供内存效率。它已为Mistral实现，并在Mixtral和Llama上进行了测试，支持FP16，并且正在开发Q8。作者承认这些主张很大胆，并提供了指向算法描述和开源实现的链接。

• •该项目旨在通过减少权重乘法来加速LLM推理。
• •提供实时速度/精度调整。
• •允许选择性加载模型权重以提高内存效率。
• •为Mistral实现，并在其他模型上进行了测试，具有开源实现。