LLM的RL训练中KL正则化：深入分析

本文研究了在大型语言模型（LLM）的强化学习（RL）训练中，用于正则化的不同Kullback-Leibler（KL）散度估计器的影响。它强调了选择无偏梯度估计器的重要性，以避免训练不稳定并提高在域内和域外任务上的性能。该研究侧重于实际的实现细节和使用多个LLM的经验验证，使其对实践者具有价值。