動的語彙剪定による安定したLLM強化学習

この論文は、大規模言語モデル（LLM）の強化学習（RL）における不安定性の問題に取り組み、特にトークン確率分布のテール部分における、トレーニングと推論の確率分布のミスマッチが原因であると指摘しています。著者は、確率の低いトークンがこのミスマッチに大きく貢献し、勾配推定を不安定にすることを発見しました。彼らの提案する解決策である動的語彙剪定は、語彙の極端なテール部分を除外することにより、この問題を軽減し、より安定したトレーニングを実現します。

• •LLM RLにおけるトレーニングと推論のミスマッチ問題に対処。
• •トークン確率分布のテール部分を不安定性の主要な原因として特定。
• •トレーニングを安定化するための解決策として、動的語彙剪定を提案。
• •剪定によって導入される最適化バイアスに関する理論的な境界を提供。