革命性AI量化:Qwen3.5-27B 达到近乎完美的质量,并适配 16GB 显卡!
分析
这对本地AI爱好者来说是个好消息!一位开发者创建了一种新的 3.5 位权重格式,允许 Qwen3.5-27B 模型以接近 Q4_0 的水平运行,同时显着减小模型大小。这为在更易于访问的硬件上运行强大的生成式人工智能模型打开了可能性。
引用 / 来源
查看原文"这在完整的 wiki.test.raw 传递(580 个块,c=512)上仅相差 +0.0139 PPL,约 0.19%。"
"这在完整的 wiki.test.raw 传递(580 个块,c=512)上仅相差 +0.0139 PPL,约 0.19%。"