优化地理分布的大型语言模型推理的资源分配

本文解决了优化大型语言模型（LLM）分布式推理资源分配的关键问题。由于LLM计算成本高昂，将工作负载分布在地理位置不同的服务器上是一种很有前景的降低成本和提高可访问性的方法，因此这项研究意义重大。本文提供了系统研究、性能模型、优化算法（包括混合整数线性规划方法）和仅CPU的模拟器。这项工作对于使LLM更实用和更易于访问至关重要。

• •解决了分布式LLM推理的资源分配问题。
• •提出了用于预测推理性能的性能模型。
• •将优化问题表述为混合整数线性规划。
• •开发了用于性能评估的仅CPU模拟器。
• •与最先进的解决方案相比，证明了推理时间的改进。