多模态LLM推理的能耗分析与优化

本文探讨了多模态大型语言模型（MLLM）推理中的能源效率问题，这个问题常常被忽视，而更关注纯文本LLM的研究。它提供了详细的、阶段级别的能耗分析，将“模态膨胀”确定为低效的关键来源。这项研究的价值在于其经验方法，使用功率跟踪并评估多个MLLM，以量化能源开销并查明架构瓶颈。本文的贡献是显著的，因为它为设计更节能的MLLM服务系统提供了实用的见解和具体的优化策略（DVFS），这对于这些模型的广泛应用至关重要。

• •由于“模态膨胀”，多模态输入显著增加了MLLM推理的能耗。
• •能源瓶颈在不同的MLLM架构中有所不同，源于视觉编码器或大型视觉token序列。
• •在多模态执行期间观察到GPU利用不足。
• •分阶段的DVFS是一种有效的优化策略，可以在最小的性能影响下实现节能。