ChatGPT 是一个加强版的 N-gram 模型吗？

这篇文章讨论了一篇研究论文，该论文通过 N-gram 统计的角度分析了 Transformer 模型，例如 ChatGPT 中使用的模型。它强调了一种无需深入研究内部机制即可理解模型预测的方法、一种检测过拟合的技术以及关于课程学习的观察结果。文章还触及了关于 AI 行为描述与解释的哲学方面。