長距離LLM強化学習のためのトラスト領域マスキング

この論文は、実装の相違などにより生じる、長距離LLM強化学習におけるオフポリシーミスマッチという課題に取り組んでいます。より厳密なトラスト領域境界を導出し、単調な改善を保証するTrust Region Masking (TRM)を導入しており、長距離タスクにとって重要な進歩です。

• •長距離LLM-RLにおけるオフポリシーミスマッチの問題に対処。
• •より厳密なトラスト領域境界を導出。
• •単調な改善を保証するTrust Region Masking (TRM)を導入。
• •TRMは、トークンがトラスト領域に違反した場合、シーケンス全体を除外。