MoDES: ダイナミックエキスパートスキッピングによるマルチモーダルLLMの高速化

この研究は、ダイナミックエキスパートスキッピングを導入することにより、Mixture-of-Experts (MoE) マルチモーダル大規模言語モデルのパフォーマンス最適化に焦点を当てています。ダイナミックスキッピングの使用は、大規模言語モデルのアプリケーションにおける主要なボトルネックである計算コストと推論時間を削減する可能性があります。

• •MoEマルチモーダルLLMの効率性向上に焦点を当てています。
• •加速方法としてダイナミックエキスパートスキッピングを採用しています。
• •計算コストと推論時間に関連するパフォーマンスのボトルネックに対処しています。