モジュラー加算表現：幾何学的等価性

この論文は、異なる注意メカニズムがニューラルネットワークにおけるモジュラー加算に対して根本的に異なる回路をもたらすという考えに異議を唱えています。アーキテクチャのバリエーションにもかかわらず、学習された表現はトポロジー的および幾何学的に等価であると主張しています。この方法論は、ニューロンのグループの集合的な振る舞いを多様体として分析することに焦点を当て、トポロジー的ツールを使用して、さまざまな回路間の類似性を実証しています。これは、ニューラルネットワークがどのように数学的演算を学習し、表現するかについてのより深い理解を示唆しています。