英伟达 Dynamo Planner 自动化 LLM 推理，实现峰值性能

英伟达的 Dynamo Planner 通过自动化大型语言模型 (LLM) 推理的资源分配和扩展，正在彻底改变我们处理生成式人工智能工作负载的方式。这项激动人心的进步有望简化操作并提高效率，使开发人员能够专注于创新而不是手动配置。

• •Dynamo Planner 在 Azure Kubernetes Service (AKS) 上自动进行 LLM 推理的资源规划和动态扩展。
• •它使用预部署模拟工具来找到最佳配置并增强“吞吐量”。
• •一个服务级别目标 (SLO) 驱动的规划器负责运行时，调整资源以满足延迟目标。