在LLM下一令牌预测中平衡多样性和精度

本文研究了如何通过重塑预训练的令牌输出分布来改善大型语言模型（LLM）中强化学习（RL）的探索空间。它挑战了高熵（多样性）总是有利于探索的常见观点，认为以精度为导向的先验可以带来更好的RL性能。核心贡献是一种奖励塑造策略，该策略平衡了多样性和精度，使用正奖励缩放因子和排名感知机制。

• •提出了一种重塑预训练令牌输出分布以实现更好RL探索的方法。
• •引入了一种平衡多样性和精度的奖励塑造策略。
• •发现以精度为导向的先验可能比以多样性为导向的先验对RL更有益。