RollArt：分離型インフラストラクチャによるエージェント型RLトレーニングの高速化

この論文は、計算負荷が高く異種混合であるエージェント型強化学習（RL）モデルを効率的にトレーニングするという課題に取り組んでいます。RollArcと呼ばれる、分離型インフラストラクチャ上でスループットを最適化するように設計された分散システムを提案しています。主な貢献は、ハードウェアアフィニティワークロードマッピング、きめ細かい非同期性、およびステートフル性対応計算という3つの原則にあります。この論文の重要性は、LLMが自律的な意思決定を実行できるようにするために不可欠な、エージェント型RLトレーニングをスケーリングするための実用的なソリューションを提供することにあります。結果は、大規模なMoEモデルを大規模なGPUクラスターでトレーニングすることにより検証された、大幅なトレーニング時間の短縮とスケーラビリティを示しています。