DGX SparkでMisty Small 4 119Bを余裕で稼働:生成AIの効率性とパフォーマンスの進化

infrastructure#llm📝 Blog|分析: 2026年4月28日 04:46
公開: 2026年4月28日 04:44
1分で読める
Qiita LLM

分析

これはローカルな生成AIハードウェアの限界に挑戦する、非常にエキサイティングな実証です!DGX Sparkの128 GiBユニファイドメモリ上で、119Bのパラメータと6.5Bのアクティブパラメータを持つ巨大なモデルを稼働させることは、素晴らしいスケーラビリティ(拡張性)を示しています。このようなオープンソースモデルが、最先端の推論を身近なものにしているのは素晴らしいことです。
引用・出典
原文を見る
"DGX Spark の 128 GiB ユニファイドメモリに UD-Q4_K_M (約 68.7 GiB, 3 シャード) がそのまま載ります。"
Q
Qiita LLM2026年4月28日 04:44
* 著作権法第32条に基づく適法な引用です。