家族模型的缩放定律

本文将对于优化大型语言模型（LLM）至关重要的缩放定律的概念扩展到“家族模型”。这些模型专为异构环境（边缘-云）设计，并利用早期退出和中继式推理从单个主干部署多个子模型。该研究引入了“粒度（G）”作为新的缩放变量，与模型大小（N）和训练标记（D）一起，旨在了解部署灵活性如何影响计算优化。这项研究的意义在于它有可能验证“一次训练，多次部署”的范式，这对于在不同的计算环境中有效利用资源至关重要。

• •引入粒度（G）作为家族模型的新缩放变量。
• •提出统一的缩放定律L(N, D, G)来捕捉模型大小、训练数据和粒度之间的关系。
• •通过实验验证了“一次训练，多次部署”的范式。
• •证明了在不损害计算优化的前提下，部署灵活性是可实现的。