FLEX-MoE：リソース制約のあるFLのためのFederated Mixture-of-Experts

この論文は、Mixture-of-Experts (MoE)モデルをフェデレーテッドラーニング（FL）環境にデプロイする際の課題、特にリソース制約とデータの異質性に焦点を当てています。主な貢献は、クライアントのリソースが限られており、データ分布が非IIDであるFL設定でパフォーマンスを向上させるために、エキスパートの割り当てと負荷分散を最適化するフレームワークであるFLEX-MoEです。この論文の重要性は、エッジデバイスでの大規模な条件付き計算モデルを可能にするための実践的なアプローチにあります。

• •MoEモデルのFederated Learning (FL)におけるリソース制約とデータの異質性に対処。
• •最適化されたエキスパート割り当てと負荷分散のためのフレームワーク、FLEX-MoEを提案。
• •クライアントエキスパート適合度スコアと最適化ベースのアルゴリズムを採用。
• •FL設定でのパフォーマンス向上とバランスの取れたエキスパート利用の維持を目指す。