RepetitionCurse: MoE LLMに対するDoS攻撃
分析
この論文は、Mixture-of-Experts (MoE) 大規模言語モデル (LLM) における重要な脆弱性を明らかにしています。敵対的な入力がルーティングメカニズムを悪用し、深刻な負荷の不均衡とサービス拒否 (DoS) 状態を引き起こす可能性があることを示しています。この研究は、展開されたMoEモデルのパフォーマンスと可用性を大幅に低下させ、サービスレベルアグリーメントに影響を与える可能性のある、実用的な攻撃ベクトルを明らかにしているため、重要です。提案されたRepetitionCurseメソッドは、この脆弱性をトリガーするためのシンプルでブラックボックスのアプローチを提供しており、懸念される脅威となっています。
重要ポイント
参照
“外部分布のプロンプトは、すべてのトークンが常に同じトップ$k$の専門家のセットにルーティングされるようにルーティング戦略を操作することができ、これにより計算上のボトルネックが作成されます。”