Transformerの注意機構はベイズ推論：幾何学的視点

この論文は、Transformerの注意機構がどのようにベイズ推論を実行するかを厳密に分析しています。大規模言語モデルの研究における制限に対処するため、真の事後分布が既知である制御された環境（「ベイズ風洞」）を作成しています。その結果、TransformerはMLPとは異なり、ベイズ事後分布を正確に再現し、明確なアーキテクチャ上の優位性を示しています。この推論の根底にある一貫した幾何学的メカニズムを特定し、残差ストリーム、フィードフォワードネットワーク、およびコンテンツアドレス可能なルーティングのための注意機構が関与しています。この研究は、Transformerがどのようにベイズ推論を達成するかをメカニズム的に理解し、小さく検証可能なシステムと、より大きなモデルで観察される推論能力との間のギャップを埋めるため、重要です。