プロンプト・コレオグラフィーによる言語モデルワークフローの高速化

本論文は、大規模言語モデル（LLM）を利用したマルチエージェントワークフローを高速化するフレームワーク、Prompt Choreographyを紹介しています。中核的な革新は、エンコードされたメッセージを保存し再利用するための動的グローバルKVキャッシュの使用にあります。これにより、LLM呼び出しが以前のメッセージの並べ替えられたサブセットにアクセスできるようになり、並列呼び出しもサポートされます。本論文は、キャッシュによって生じる結果の不一致という潜在的な問題に対処し、これらの差異を軽減するためにLLMを微調整することを提案しています。主な意義は、LLMベースのワークフロー、特に冗長な計算を含むワークフローにおいて、大幅な高速化の可能性を示唆している点です。

• •LLMワークフローを高速化するフレームワーク、Prompt Choreographyを紹介。
• •効率的なメッセージ処理のために、動的グローバルKVキャッシュを利用。
• •メッセージサブセットの並べ替えと並列呼び出しをサポート。
• •LLMの微調整を通じて、潜在的な結果の不一致に対処。
• •レイテンシとエンドツーエンドのワークフロー実行において、大幅な高速化を実証。