Transformerにおける注意機構の勾配ダイナミクス

本論文は、クロスエントロピー学習がTransformerの注意ヘッドにおける注意スコアと値ベクトルをどのように形成するかを一次分析しています。 「アドバンテージベースのルーティング法則」と「責任加重更新」を明らかにし、正のフィードバックループを誘発し、クエリと値の専門化につながります。 この研究は、最適化（勾配フロー）を幾何学（ベイズ多様体）と機能（確率的推論）に結びつけ、Transformerがどのように学習するかについての洞察を提供します。

• •クロスエントロピー学習下での注意ヘッドダイナミクスの一次分析を提供。
• •「アドバンテージベースのルーティング法則」と「責任加重更新」を特定。
• •これらのダイナミクスが、クエリと値の専門化のための正のフィードバックループをどのように作成するかを示しています。
• •最適化をTransformerの幾何学と機能に結びつけ、確率的推論を実行する方法を説明しています。