用于高效LLM推理的动态大型概念模型

本文通过提出动态大型概念模型（DLCM）来解决标准LLM的效率问题。核心思想是将计算从token级处理自适应地转移到压缩的概念空间，从而提高推理效率。本文引入了压缩感知缩放定律和解耦的μP参数化，以促进训练和缩放。在匹配的FLOPs下，零样本基准测试中报告的+2.69%的平均改进突出了所提出方法的实际影响。

• •提出动态大型概念模型（DLCM）以提高LLM效率。
• •DLCM使用分层方法，将计算转移到压缩的概念空间。
• •引入压缩感知缩放定律和解耦的μP参数化。
• •在匹配的FLOPs下，在零样本基准测试中实现了+2.69%的平均改进。