模加法表示：几何等价性

Research Paper#Neural Networks, Deep Learning, Modular Arithmetic, Attention Mechanisms, Topology🔬 Research|分析: 2026年1月3日 06:22•
发布: 2025年12月31日 18:53
•
1分で読める
•ArXiv

分析

本文质疑了不同的注意力机制会导致神经网络中模加法产生根本不同的电路的观点。它认为，尽管架构有所不同，但学习到的表示在拓扑和几何上是等价的。该方法侧重于将神经元组的集体行为分析为流形，使用拓扑工具来证明各种电路之间的相似性。这表明对神经网络如何学习和表示数学运算有了更深入的理解。
引用 / 来源
查看原文
"Both uniform attention and trainable attention architectures implement the same algorithm via topologically and geometrically equivalent representations."
A
ArXiv2025年12月31日 18:53
* 根据版权法第32条进行合法引用。
较旧

Bumblebee: GPT2, Stable Diffusion, and More in Elixir

较新

Evolution Strategies

相关分析

Research Paper

SpaceTimePilot：时空控制的生成视频渲染

2026年1月3日 06:10

Research Paper

量子混沌哈密顿量演化下的随机性生成

2026年1月3日 06:10

Research Paper

GaMO：几何感知扩散用于稀疏视角3D重建

2026年1月3日 06:32

来源: ArXiv