通过Prompt Choreography加速语言模型工作流程

本文介绍了Prompt Choreography，一个旨在加速使用大型语言模型（LLM）的多智能体工作流程的框架。核心创新在于使用动态的、全局的KV缓存来存储和重用编码后的消息，从而实现高效执行，允许LLM调用访问先前消息的重新排序的子集，并支持并行调用。本文解决了由缓存引起的结果差异的潜在问题，并提出微调LLM以减轻这些差异。主要意义在于，它表明了在基于LLM的工作流程中实现显著加速的潜力，尤其是在具有冗余计算的工作流程中。

• •介绍了Prompt Choreography，一个用于加速LLM工作流程的框架。
• •利用动态的、全局的KV缓存进行高效的消息处理。
• •支持重新排序的消息子集和并行调用。
• •通过LLM微调解决潜在的结果差异。
• •展示了在延迟和端到端工作流程执行方面的显著加速。