表形式データに対するTransformer: 最適輸送による自己注意力の学習

この研究は、自己注意メカニズムを改善するために最適輸送理論を用いて、表形式データに対するTransformerのトレーニングに関する新しい視点を調査しています。この論文は、構造化データに対するTransformerを効率的にトレーニングする方法に関する洞察を提供し、より優れたパフォーマンスと汎化につながる可能性があります。

• •表形式データに対するTransformerのトレーニングの最適化に焦点を当てる。
• •自己注意のために最適輸送理論を利用する。
• •パフォーマンスと汎化の可能性のある改善を示唆する。