Transformerの注意機構はベイズ推論：幾何学的視点

この論文は、Transformerの注意機構がどのようにベイズ推論を実行するかを厳密に分析しています。大規模言語モデルの研究における制限に対処するため、真の事後分布が既知である制御された環境（「ベイズ風洞」）を作成しています。その結果、TransformerはMLPとは異なり、ベイズ事後分布を正確に再現し、明確なアーキテクチャ上の優位性を示しています。この推論の根底にある一貫した幾何学的メカニズムを特定し、残差ストリーム、フィードフォワードネットワーク、およびコンテンツアドレス可能なルーティングのための注意機構が関与しています。この研究は、Transformerがどのようにベイズ推論を達成するかをメカニズム的に理解し、小さく検証可能なシステムと、より大きなモデルで観察される推論能力との間のギャップを埋めるため、重要です。

• •Transformerは、一貫した幾何学的メカニズムを通じてベイズ推論を実装します。
• •残差ストリームは信念基盤として機能し、フィードフォワードネットワークは事後分布の更新を実行し、注意機構はコンテンツアドレス可能なルーティングを提供します。
• •ベイズ風洞は、Transformerにおけるベイズ推論を研究するための制御された環境を提供します。
• •この研究は、トレーニング中に「フレーム精度分離」を明らかにし、注意パターンは安定したままで、値多様体は展開します。