动态Top-p MoE 提升大型基础模型预训练

这篇ArXiv论文探讨了一种新的混合专家 (MoE) 架构，以提高大型基础模型预训练的效率和性能。 重点在于稀疏性控制和动态 top-p 选择，这表明了一种有前景的方法来优化训练期间的资源利用。

• •该研究提出了一种新的 MoE 架构来提高预训练效率。
• •该方法结合了稀疏性控制和动态 top-p 选择。
• •这项工作侧重于大型基础模型，这是人工智能发展的一个重要领域。