LLMトレーニングにおける通信の予測可能性の分析

この論文は、大規模言語モデル（LLM）の分散トレーニングにおける重要な側面である、通信の予測可能性について取り組んでいます。ランタイム最適化を超えて、通信パターンとオーバーヘッドの体系的な理解を提供します。分析的定式化と構成チューニングツール（ConfigTuner）の開発は、トレーニングパフォーマンスの実用的な改善を提供する重要な貢献です。