Granite 4 Small: 大規模コンテキストを持つ限られたVRAMシステムにとって実行可能な選択肢

この投稿は、Granite 4.0 Smallのようなハイブリッドトランスフォーマー-Mambaモデルが、リソース制約のあるハードウェア上で大規模なコンテキストウィンドウでパフォーマンスを維持する可能性を強調しています。重要な洞察は、MoEエキスパートにCPUを活用してKVキャッシュ用のVRAMを解放し、より大きなコンテキストサイズを可能にすることです。このアプローチは、古いまたは低電力のGPUを持つユーザーにとって、大規模なコンテキストLLMへのアクセスを民主化する可能性があります。

• •Granite 4.0 Small（合計32B / アクティブ9B）は、8GB VRAMを搭載したThinkpad P15で、50kトークンのコンテキストで約7 tkpsを維持します。
• •MoEエキスパートをCPUにオフロードすると、より大きなKVキャッシュのためにVRAMが解放され、より大きなコンテキストウィンドウが可能になります。
• •ハイブリッドトランスフォーマー-Mambaアーキテクチャは、コンテキストが埋まるにつれて持続的なパフォーマンスに貢献します。