word2vec 究竟学到了什么？

这篇来自伯克利人工智能的文章讨论了一篇新论文，该论文提供了一个定量和预测理论，描述了word2vec的学习过程。多年来，研究人员一直缺乏对word2vec（现代语言模型的前身）实际如何学习的扎实理解。该论文表明，在现实场景中，学习问题简化为非加权最小二乘矩阵分解。此外，研究人员以闭合形式解决了梯度流动力学，揭示了最终学习到的表示本质上是从PCA导出的。这项研究揭示了word2vec的内部运作机制，并为理解其学习动态，特别是训练期间观察到的顺序、秩递增步骤提供了理论基础。