用于具有不可验证奖励的复杂任务的Selective TTS

本文解决了在最终结果难以验证且奖励模型不可靠的复杂任务中扩展LLM代理的挑战。它引入了Selective TTS，一个基于流程的细化框架，该框架将计算分布在多代理管道的各个阶段，并尽早修剪低质量的分支。这种方法旨在减轻评判者漂移并稳定细化，从而提高生成视觉上富有洞察力的图表和报告的性能。这项工作意义重大，因为它解决了将LLM应用于具有开放式目标和不可验证奖励的现实世界任务（例如科学发现和故事生成）中的一个基本问题。

• •提出了Selective TTS，一个用于多阶段管道的基于流程的细化框架。
• •解决了复杂任务中不可验证奖励的挑战。
• •证明了在生成视觉上富有洞察力的图表和报告方面的改进性能。
• •通过修剪低质量分支来减轻评判者漂移并稳定细化。