Granite 4 Small：具有大上下文的有限VRAM系统的可行选择

这篇文章强调了像Granite 4.0 Small这样的混合Transformer-Mamba模型在资源受限的硬件上，利用大型上下文窗口保持性能的潜力。关键的见解是利用CPU处理MoE专家，从而释放VRAM用于KV缓存，实现更大的上下文大小。这种方法可以为拥有较旧或功能较弱GPU的用户普及对大型上下文LLM的访问。

• •Granite 4.0 Small（总计32B / 激活9B）在具有8GB VRAM的Thinkpad P15上，以50k token的上下文维持约7 tkps。
• •将MoE专家卸载到CPU可以释放VRAM以用于更大的KV缓存，从而实现更大的上下文窗口。
• •混合transformer-Mamba架构有助于在上下文填充时保持性能。