新しい学習関数が、同じ損失曲線にもかかわらず大規模言語モデル (LLM) の品質を向上させる

この魅力的な研究は、大規模言語モデル (LLM) のトレーニング方法における素晴らしいブレイクスルーを強調しています。トークンゲインとTransformerレイヤーに対する革新的なスケーリング関数を導入することで、一人の独立した研究者が、標準的なクロスエントロピー手法に対するブラインドテストで59.9%という大きな支持率を達成しました。追加のParameter数や計算リソースを必要とせずにGradient予算を最適化する、このような影響力のあるコミュニティ主導のイノベーションを見るのは非常に励みになります。