Strix Halo Llama-bench 结果 (GLM-4.5-Air)

这篇 r/LocalLLaMA 上的帖子分享了在具有 128GB 内存的 Strix Halo (EVO-X2) 系统上运行的 GLM-4.5-Air 模型的基准测试结果。该用户正在寻求优化他们的设置，并要求其他人进行比较。基准测试包括使用 ROCm 7.10 的 Q4_K 量化的 GLM4moe 106B 模型的各种配置。提供的数据包括模型大小、参数、后端、GPU 层数 (ngl)、线程、n_ubatch、type_k、type_v、fa、mmap、测试类型和每秒令牌数 (t/s)。用户特别有兴趣针对 Cline 的使用进行优化。