LLMの次トークン予測における多様性と精度のバランス
分析
本論文は、事前学習済みのトークン出力分布を再構築することにより、大規模言語モデル（LLM）における強化学習（RL）のための探索空間をどのように改善するかを調査しています。高いエントロピー（多様性）が常に探索に有益であるという一般的な考えに異議を唱え、代わりに精度志向の事前分布がより良いRLパフォーマンスにつながる可能性があると主張しています。主な貢献は、正の報酬スケーリングファクターとランク認識メカニズムを使用して、多様性と精度をバランスさせる報酬形状戦略です。