LLM的RL训练中KL正则化：深入分析

本文研究了在大型语言模型（LLM）的强化学习（RL）训练中，用于正则化的不同Kullback-Leibler（KL）散度估计器的影响。它强调了选择无偏梯度估计器的重要性，以避免训练不稳定并提高在域内和域外任务上的性能。该研究侧重于实际的实现细节和使用多个LLM的经验验证，使其对实践者具有价值。

• •在LLM的RL训练中使用的不同KL散度估计器会显著影响性能。
• •具有有偏梯度的配置可能导致训练不稳定。
• •无偏梯度估计器通常会带来更好的性能。
• •KL正则化可以稳定离策略RL训练。