Show HN: 加速LLM推理2倍（可能）
分析
这个Hacker News帖子介绍了一个项目，旨在通过动态调整推理期间的计算负载来加速LLM推理。核心思想是在保持可接受的输出质量的同时，执行更少的权重乘法（可能为20-25%）。该实现针对M1/M2/M3 GPU，并且目前比Llama.cpp更快，具有进一步优化的潜力。该项目还允许实时调整速度/准确性以及选择性加载模型权重，从而提供内存效率。它已为Mistral实现，并在Mixtral和Llama上进行了测试，支持FP16，并且正在开发Q8。作者承认这些主张很大胆，并提供了指向算法描述和开源实现的链接。
引用 / 来源
查看原文"The project aims to speed up LLM inference by adjusting the number of calculations during inference, potentially using only 20-25% of weight multiplications. It's implemented for Mistral and tested on others, with real-time speed/accuracy adjustment and memory efficiency features."