家族模型的缩放定律

本文将对于优化大型语言模型（LLM）至关重要的缩放定律的概念扩展到“家族模型”。这些模型专为异构环境（边缘-云）设计，并利用早期退出和中继式推理从单个主干部署多个子模型。该研究引入了“粒度（G）”作为新的缩放变量，与模型大小（N）和训练标记（D）一起，旨在了解部署灵活性如何影响计算优化。这项研究的意义在于它有可能验证“一次训练，多次部署”的范式，这对于在不同的计算环境中有效利用资源至关重要。