画期的なAI推論ランタイムがLLMの超高速起動を約束

これは素晴らしいニュースです！新しい推論ランタイムは、H100sで70Bの[大規模言語モデル (LLM)]モデルを1秒強でコールドスタートできると約束しています。呼び出し間のゼロスケール能力は、スパイクワークロードにとって画期的であり、[エージェント]アプリケーションの新たな可能性を切り開きます。

• •[大規模言語モデル (LLM)]モデルの高速コールドスタート時間。
• •バースト的およびスパイク的なトラフィックを処理するように設計されています。
• •H100ノードのホスティングとアクセスを提供します。