用于离线强化学习的贝尔曼校准

本文介绍了迭代贝尔曼校准，这是一种新颖的后验方法，用于提高离线强化学习中价值预测的准确性。该方法与模型无关，并且不需要贝尔曼完备性或可实现性等强假设，使其具有广泛的适用性。使用双重鲁棒伪结果来处理离策略数据是一项关键贡献。本文提供了有限样本保证，这对于实际应用至关重要。

• •介绍了迭代贝尔曼校准，一种用于离线 RL 的后验校准方法。
• •与模型无关，不需要强假设。
• •使用双重鲁棒伪结果处理离策略数据。
• •为校准和预测提供有限样本保证。