LLMのRLトレーニングにおけるKL正則化：詳細分析

本論文は、大規模言語モデル（LLM）の強化学習（RL）トレーニングにおける正則化に使用される、さまざまなKullback-Leibler（KL）ダイバージェンス推定器の影響を調査しています。バイアスのかかっていない勾配推定器を選択することの重要性を強調し、トレーニングの不安定性を回避し、インドメインおよびアウトオブドメインタスクの両方でパフォーマンスを向上させることを示しています。実践的な実装の詳細と、複数のLLMを用いた実証的検証に焦点を当てているため、実務者にとって価値があります。

• •LLMのRLトレーニングで使用されるさまざまなKLダイバージェンス推定器は、パフォーマンスに大きな影響を与える可能性があります。
• •バイアスのかかった勾配を持つ構成は、トレーニングの不安定性につながる可能性があります。
• •バイアスのかかっていない勾配推定器は、一般的により優れたパフォーマンスにつながります。
• •KL正則化は、オフポリシーRLトレーニングを安定させることができます。