scaling laws

"AI行业的巨型模型竞争就像白垩纪的恐龙。另一方面，小巧敏捷的哺乳类动物在恐龙无法进入的利基环境中稳步地继续进化。"

"已确认的是，Anthropic 告诉《财富》杂志，新模型是一个“阶跃变化”，突然翻倍肯定符合定义。"

"我们发现，对于一个固定的token-to-parameter比率，一个简单的幂律可以准确地描述多个流行的下游任务上对数精度的扩展行为。"

"Jensen Huang 说“我们已经实现了AGI”"

"该论文的声明：语言模型的性能根据模型参数的数量、训练数据的数量和投入的计算量，以幂律可预测地提高。"

"这次实验最有趣的点在于，“没有思考的正确率”和“模型参数的数量（大脑大小）”绘制出一条极其清晰的对数线性图（log-linear）。"

"该存储库（书籍）的结构旨在深入研究 Anthropic：The Biological Scaling：为什么 AI 进化不会停止？ 生物学上的必然性。"

"麻省理工学院估算了 809 个大语言模型的计算能力。 总计算影响人工智能的准确性，胜过任何算法技巧。"

"因此，在比其他任何开放模型都多的真实机器人数据上进行预训练的 SOTA VLA 基础模型，平均每 5 次尝试成功不到 1 次。"

"ATLAS 是一种跨语言迁移矩阵，用于衡量一种语言上的训练对另一种语言的性能的影响。"

"That “Test-time Compute” is becoming a dominant factor in determining performance."

"The study likely provides experimental evidence."

"The study focuses on feature learning dynamics."

"Neural scaling laws are applied to learning-based identification."

"The article likely explores scaling laws specific to the energy efficiency of locally run LLMs."

"The paper likely emphasizes that all programming languages, not just the most popular ones, contribute to the effectiveness of code-based AI."

"The paper examines the data efficiency frontier of financial foundation models."

"Renormalizable Spectral-Shell Dynamics as the Origin of Neural Scaling Laws"

"The article likely discusses the relationship between model size, training data, and emergent capabilities."