マルチモーダルLLM推論におけるエネルギー分析と最適化

この論文は、テキストのみのLLM研究に比べて見過ごされがちな、マルチモーダル大規模言語モデル（MLLM）推論におけるエネルギー非効率性の重要な問題に取り組んでいます。詳細なステージレベルのエネルギー消費分析を提供し、「モダリティインフレーション」を非効率性の主要な原因として特定しています。この研究の価値は、電力トレースを使用し、複数のMLLMを評価してエネルギーオーバーヘッドを定量化し、アーキテクチャのボトルネックを特定する実証的なアプローチにあります。この論文の貢献は、よりエネルギー効率の高いMLLMサービングシステムを設計するための実用的な洞察と具体的な最適化戦略（DVFS）を提供しているため重要です。これは、これらのモデルの広範な採用にとって不可欠です。

• •マルチモーダル入力は、「モダリティインフレーション」により、MLLM推論におけるエネルギー消費を大幅に増加させます。
• •エネルギーのボトルネックは、ビジョンエンコーダーまたは大きなビジュアルトークンシーケンスに起因し、MLLMアーキテクチャによって異なります。
• •マルチモーダル実行中にGPUの利用率が低いことが観察されます。
• •ステージごとのDVFSは、パフォーマンスへの影響を最小限に抑えながら、省エネルギーを実現するための効果的な最適化戦略です。