基于偏好反馈的零和博弈中非正则化线性收敛

本文解决了将大型语言模型 (LLM) 与人类偏好对齐的挑战，超越了假设传递性偏好的传统方法的局限性。它引入了一种使用来自人类反馈的纳什学习 (NLHF) 的新方法，并首次为在这种情况下使用乐观乘法权重更新 (OMWU) 算法提供了收敛保证。关键贡献是在没有正则化的情况下实现线性收敛，这避免了偏差并提高了对偶间隙计算的准确性。这尤其重要，因为它不需要 NE 唯一性的假设，并且它识别了一种新颖的边际收敛行为，从而导致更好的实例相关常数依赖性。这项工作的实验验证进一步增强了其在 LLM 应用中的潜力。

• •解决了传统偏好建模在 LLM 对齐中的局限性。
• •引入了来自人类反馈的纳什学习 (NLHF) 作为解决方案。
• •为 NLHF 中的 OMWU 提供了第一个收敛保证。
• •在没有正则化的情况下实现线性收敛，避免了偏差。
• •展示了改进的实例相关常数依赖性。
• •在表格和神经策略类别中都经过了实验验证。