基于信息论的奖励模型去偏

本文解决了从人类反馈中进行强化学习（RLHF）中的一个关键问题：奖励模型中存在归纳偏见。这些偏见源于低质量的训练数据，可能导致过拟合和奖励黑客攻击。所提出的方法DIR（Debiasing via Information optimization for RM）提供了一种新颖的信息论方法来缓解这些偏见，处理非线性相关性并提高RLHF的性能。本文的重要性在于其改善RLHF系统可靠性和泛化能力的潜力。

• •解决了奖励模型中归纳偏见的问题，这可能导致过拟合和奖励黑客攻击。
• •提出了一种新颖的信息论去偏方法，称为DIR（Debiasing via Information optimization for RM）。
• •DIR最大化了RM分数和人类偏好对之间的互信息，同时最小化了RM输出和有偏属性之间的互信息。
• •证明了在减轻与响应长度、谄媚和格式相关的偏见方面的有效性。
• •展示了在各种基准测试中改进的RLHF性能和更好的泛化能力。
• •提供了用于重现性的代码和训练配方。