无需时序差分学习的强化学习

本文介绍了一种与传统时序差分 (TD) 学习方法不同的强化学习 (RL) 算法。它强调了与 TD 学习相关的可扩展性挑战，尤其是在长时程任务中，并提出了一种分而治之的方法作为替代方案。文章区分了在策略和离策略 RL，强调了离策略 RL 在数据收集成本高昂的场景（如机器人技术和医疗保健）中的灵活性和重要性。作者指出了在扩展在策略 RL 方面的进展，但承认了离策略 RL 中持续存在的挑战，表明这种新算法可能是一个重要的进步。