受储计算启发的无矩阵乘法语言模型

本文针对大型语言模型（LLM）的计算成本瓶颈，提出了一种受储计算启发的无矩阵乘法架构。核心思想是在保持性能的同时降低训练和推理成本。使用固定和共享部分权重的储层计算是关键创新。本文的重要性在于其提高LLM效率的潜力，使其更易于访问和实用。

• •提出了一种无矩阵乘法语言模型以降低计算成本。
• •采用储层计算技术以进一步减少训练开销。
• •实现了参数、训练时间和推理时间的显著减少。
• •保持了与基线模型相当的性能。