土豆级LLM的意义何在？

这篇来自r/LocalLLaMA的Reddit帖子质疑了较小型大型语言模型（LLM）的实际效用，例如7B、20B和30B参数模型。作者表示沮丧，发现这些模型不足以完成诸如编码之类的任务，并且比使用API慢。他们认为，这些模型可能主要用作AI实验室在排行榜上竞争的基准工具，而不是提供切实的实际应用。这篇文章突出了探索本地LLM的用户之间普遍存在的一个问题：可访问性（在个人硬件上运行模型）和性能（获得有用的结果）之间的权衡。作者的语气持怀疑态度，质疑这些“土豆级”模型的价值主张，除了在本地运行AI的新颖性之外。

• •较小的LLM可能不适合编码等复杂任务。
• •本地LLM的性能可能比使用基于云的API慢得多。
• •一些较小LLM的主要用例可能是基准测试和实验。