Transformer 中注意力机制的梯度动力学

本文对交叉熵训练如何塑造 Transformer 注意力头中的注意力分数和值向量进行了 一阶分析。 它揭示了“基于优势的路由定律”和“责任加权更新”，从而引发了正反馈循环，导致查询和值的专业化。 这项工作将优化（梯度流）与几何（贝叶斯流形）和功能（概率推理）联系起来，提供了关于 Transformer 如何学习的见解。

• •提供了对交叉熵训练下注意力头动力学的一阶分析。
• •确定了“基于优势的路由定律”和“责任加权更新”。
• •展示了这些动力学如何为查询和值创建正反馈循环。
• •将优化与 Transformer 中的几何和功能联系起来，解释了它们如何执行概率推理。