在你的笔记本电脑上运行大型LLM：苹果的“闪存LLM”突破

对于任何有兴趣在本地运行强大生成式人工智能模型的人来说，这都是令人兴奋的消息。通过利用苹果的研究技术，现在可以在内存有限的MacBook Pro上运行一个3970亿参数的大语言模型，这释放了设备上推理的巨大潜力。这展示了高效LLM使用方面的惊人进步。