LLMトレーニングにおける通信の予測可能性の分析

この論文は、大規模言語モデル（LLM）の分散トレーニングにおける重要な側面である、通信の予測可能性について取り組んでいます。ランタイム最適化を超えて、通信パターンとオーバーヘッドの体系的な理解を提供します。分析的定式化と構成チューニングツール（ConfigTuner）の開発は、トレーニングパフォーマンスの実用的な改善を提供する重要な貢献です。

• •LLMトレーニングにおける通信の予測可能性の体系的な分析。
• •通信オーバーヘッドを推定するための分析的定式化の開発。
• •トレーニングパフォーマンスを最適化するための構成チューニングツール、ConfigTunerの導入。
• •既存のLLMトレーニングフレームワークと比較して、実証されたパフォーマンスの向上。