基于物理学的革命性 LLM:阻尼谐振子架构!
分析
这是一个真正创新的构建大语言模型 (LLM) 的方法!利用阻尼谐振子方程提供了一个全新的视角,以独特且可能更有效的方式创建时间上下文。 结果,包括连贯的文本生成和量化鲁棒性,都非常有前景。
要点
引用 / 来源
查看原文"我一直在构建一个神经网络架构,其中唯一可学习的变换是阻尼谐振子的传递函数:H(ω) = 1/(ω₀² - ω² + 2iγω)。"
"我一直在构建一个神经网络架构,其中唯一可学习的变换是阻尼谐振子的传递函数:H(ω) = 1/(ω₀² - ω² + 2iγω)。"