革命性人工智能推理运行时承诺闪电般的LLM激活

这是一个令人兴奋的消息！一个新的推理运行时承诺在H100s上以略超过一秒的时间冷启动70B [大语言模型 (LLM)] 模型。在调用之间缩放到零的能力对于突发工作负载来说是一个改变游戏规则的因素，为 [智能体] 应用开辟了新的可能性。

• •大型 [大语言模型 (LLM)] 模型的快速冷启动时间。
• •旨在处理突发性和峰值流量。
• •提供托管和访问H100节点。