用于节能 LLM 推理的 SRAM 大小和频率优化

Research Paper#Large Language Models (LLMs) / Energy Efficiency / Hardware Acceleration🔬 Research|分析: 2026年1月3日 16:32
发布: 2025年12月26日 15:42
1分で読める
ArXiv

分析

这篇论文之所以重要,是因为它为设计节能 LLM 加速器提供了具体的架构见解。它重点介绍了 LLM 推理(特别是预填充和解码阶段)中 SRAM 大小、工作频率和能耗之间的权衡。这些发现对于旨在最大限度地减少能源开销的数据中心设计至关重要。
引用 / 来源
查看原文
"Optimal hardware configuration: high operating frequencies (1200MHz-1400MHz) and a small local buffer size of 32KB to 64KB achieves the best energy-delay product."
A
ArXiv2025年12月26日 15:42
* 根据版权法第32条进行合法引用。