在多CPU和系统RAM上自托管LLM

这篇Reddit帖子讨论了在具有多个CPU和大量系统RAM的服务器上自托管大型语言模型（LLM）的可行性。作者正在考虑使用带有Xeon 2690 v3处理器的双路Supermicro主板和大量的2133 MHz RAM。主要问题围绕着256GB的RAM是否足以以有意义的速度运行大型开源模型。帖子还寻求对预期性能和运行特定模型（如Qwen3:235b）的潜力的见解。讨论突出了人们对本地运行LLM的日益增长的兴趣以及所涉及的硬件考虑因素。

• •这篇文章探讨了在具有大量RAM的旧服务器硬件上运行大型LLM的可行性。
• •作者特别考虑使用具有256GB RAM的双路Xeon系统。
• •主要关注点是该系统是否能为运行开源LLM提供可接受的性能。