新型训练函数在损失曲线相同的情况下成功提升大语言模型 (LLM) 质量

这项引人入胜的研究突出了我们在训练大语言模型 (LLM) 方式上的一项惊人突破。通过引入针对 token 增益和 Transformer 层的全新缩放函数，一位独立研究者在盲测中获得了 59.9% 的巨大偏好率，成功击败了标准的交叉熵方法。看到这种由社区驱动的、无需额外 Parameter 数量或计算资源即可优化梯度的极具影响力的创新，令人深受鼓舞。