论文: "跨科学基础模型的物质普遍收敛表示"
分析
这篇论文研究了科学基础模型中内部表示的收敛性，这是构建可靠且可泛化模型的一个关键方面。该研究分析了近六十个跨多种模态的模型，揭示了它们对化学系统的表示具有高度一致性，尤其是在小分子方面。研究强调了两种情况：高性能模型在相似的输入上紧密对齐，而较弱的模型则发散。在与训练数据差异极大的结构上，大多数模型会崩溃到低信息量的表示，这表明受到训练数据和归纳偏见的限制。研究结果表明，这些模型正在学习物理现实的共同底层表示，但需要进一步的改进来克服数据和偏见的约束。
引用 / 来源
查看原文"Models trained on different datasets have highly similar representations of small molecules, and machine learning interatomic potentials converge in representation space as they improve in performance, suggesting that foundation models learn a common underlying representation of physical reality."