相位联想记忆:复数希尔伯特空间中序列建模的量子飞跃

research#architecture🔬 Research|分析: 2026年4月8日 04:07
发布: 2026年4月8日 04:00
1分で読める
ArXiv NLP

分析

这项研究引入了相位联想记忆(PAM),这是一种迷人的递归架构,利用希尔伯特空间中的复数值表示来对语言序列进行建模。令人印象深刻的是,在约1亿参数的规模下,PAM在WikiText-103上的性能达到了匹配Transformer的10%以内,展示了非经典计算形式的竞争潜力。这一突破表明,利用复数叠加和共轭检索可以为自然语言处理(NLP)中的传统方法提供一个强大的替代方案。
引用 / 来源
查看原文
"我们提出了相位联想记忆(PAM),这是一种递归序列模型,其中所有表示都是复数值,关联通过外积累积在矩阵状态$S_{t}$中,并通过共轭内积进行检索。"
A
ArXiv NLP2026年4月8日 04:00
* 根据版权法第32条进行合法引用。