Strix Halo Llama-benchの結果 (GLM-4.5-Air)

このr/LocalLLaMAの投稿は、128GBのRAMを搭載したStrix Halo（EVO-X2）システムで実行されているGLM-4.5-Airモデルのベンチマーク結果を共有しています。ユーザーはセットアップを最適化しようとしており、他のユーザーからの比較を求めています。ベンチマークには、ROCm 7.10を使用したQ4_K量子化によるGLM4moe 106Bモデルのさまざまな構成が含まれています。提示されたデータには、モデルサイズ、パラメータ、バックエンド、GPUレイヤー数（ngl）、スレッド、n_ubatch、type_k、type_v、fa、mmap、テストタイプ、および1秒あたりのトークン数（t/s）が含まれています。ユーザーは特にClineでの使用のために最適化することに関心があります。