跨模块、宽度、深度、批量和持续时间的超参数转移完成

本文解决了大规模模型中超参数调整的关键挑战。它扩展了关于超参数转移的现有工作，统一了宽度、深度、批量大小和训练持续时间的缩放。主要贡献是研究了每个模块的超参数优化和转移，证明了在较小模型上找到的最优超参数可以有效地应用于较大模型，从而显着提高训练速度，尤其是在大型语言模型中。这是对大型模型训练效率的实际贡献。

• •提出了Complete^{(d)} Parameterisation，以统一跨宽度、深度、批量大小和训练持续时间的缩放。
• •研究了每个模块的超参数优化和转移。
• •通过转移的每个模块的超参数，证明了大型语言模型中训练速度的显着提高。
• •提供了用于导航高维超参数 landscape 的实用指南。