LLMの次トークン予測における多様性と精度のバランス

本論文は、事前学習済みのトークン出力分布を再構築することにより、大規模言語モデル（LLM）における強化学習（RL）のための探索空間をどのように改善するかを調査しています。高いエントロピー（多様性）が常に探索に有益であるという一般的な考えに異議を唱え、代わりに精度志向の事前分布がより良いRLパフォーマンスにつながる可能性があると主張しています。主な貢献は、正の報酬スケーリングファクターとランク認識メカニズムを使用して、多様性と精度をバランスさせる報酬形状戦略です。

• •より良いRL探索のために、事前学習済みのトークン出力分布を再構築する方法を提案。
• •多様性と精度をバランスさせる報酬形状戦略を導入。
• •精度志向の事前分布が、多様性重視の事前分布よりもRLに有益である可能性があることを発見。