树莓派上的极速LLM推理:Qwen 3.5展现惊人性能
分析
对于任何对在本地运行生成式人工智能模型感兴趣的人来说,这都是令人兴奋的消息!在像树莓派5这样的资源受限设备上优化大型语言模型推理的进展令人印象深刻。Qwen 3.5报告的性能数据确实很有希望。
要点
引用 / 来源
查看原文"Qwen3.5 35B A3B的2-bit大尺寸量化:在16GB Pi上为3.5 t/s,在支持SSD的8GB Pi上约为2.5 t/s。"
"Qwen3.5 35B A3B的2-bit大尺寸量化:在16GB Pi上为3.5 t/s,在支持SSD的8GB Pi上约为2.5 t/s。"