動的語彙剪定による安定したLLM強化学習

この論文は、大規模言語モデル（LLM）の強化学習（RL）における不安定性の問題に取り組み、特にトークン確率分布のテール部分における、トレーニングと推論の確率分布のミスマッチが原因であると指摘しています。著者は、確率の低いトークンがこのミスマッチに大きく貢献し、勾配推定を不安定にすることを発見しました。彼らの提案する解決策である動的語彙剪定は、語彙の極端なテール部分を除外することにより、この問題を軽減し、より安定したトレーニングを実現します。