新型LLM量化方法优于现有方法

这对使用本地LLM的任何人来说都是令人兴奋的消息！ 一位用户发现，由于其较小的尺寸而经常被忽视的 MXFP4 量化，实际上在困惑度方面比 Q4_K_M 和 Q4_K_XL 表现更好。 这一发现可能会彻底改变我们优化 LLM 速度和效率的方式。

• •MXFP4量化，尽管较小，但优于 Q4_K_M 和 Q4_K_XL。
• •这项研究使用 llama.cpp 进行，并在 GLM-4.7-Flash 和 Nemotron-3-nano 模型上进行了测试。
• •这些发现基于困惑度分数，该分数衡量模型预测文本的准确程度。