LLMトレーニングとサービングのためのフォールトトレラントなコレクティブ通信

この論文は、大規模LLMのトレーニングと推論における重要な問題であるネットワーク障害に対処しています。フォールトトレラントな通信ライブラリであるR^2CCLを導入することにより、著者はネットワークエラーによって引き起こされるGPU時間の大きな無駄を軽減することを目指しています。マルチNICハードウェアと耐障害性アルゴリズムに焦点を当てていることは、LLMの展開の効率と信頼性を向上させるための、実用的で潜在的に影響力のあるソリューションを示唆しています。

• •大規模LLMのトレーニングと推論におけるネットワーク障害の問題に対処。
• •フォールトトレラントな通信ライブラリR^2CCLを導入。
• •フェイルオーバーと負荷再分散のためにマルチNICハードウェアを活用。
• •既存のベースライン（AdapCCおよびDejaVu）よりも大幅なパフォーマンス向上を実証。
• •NIC障害下で低いオーバーヘッド（トレーニングで1％未満、推論で3％未満）を示す。