効率的なLLMオーケストレーションフレームワーク

この論文は、組織にとってますます重要になっている自己ホスト型大規模言語モデル（LLM）の実用的な課題に対処しています。提案されたフレームワークであるPick and Spinは、Kubernetes、適応スケーリング、およびハイブリッドルーティングモジュールを統合することにより、スケーラブルで経済的なソリューションを提供します。複数のモデル、データセット、および推論戦略にわたる評価は、静的デプロイメントと比較して、成功率、レイテンシ、およびコストの大幅な改善を示しています。これは、LLMのデプロイメントと管理への実用的なアプローチを提供し、この分野への貴重な貢献です。

• •Pick and Spinは、自己ホスト型LLMオーケストレーションのための実用的なフレームワークです。
• •Kubernetes、適応スケーリング、およびハイブリッドルーティングを使用します。
• •成功率の向上、レイテンシの低下、GPUコストの削減を示しています。
• •複数のLLMとデータセットで評価されています。