基于距离的神经模型中梯度下降作为隐式EM

Research Paper#Neural Networks, Optimization, Bayesian Inference🔬 Research|分析: 2026年1月3日 06:26•
发布: 2025年12月31日 10:56
•
1分で読める
•ArXiv

分析

本文提供了一个直接的数学推导，表明在具有基于距离或能量的log-sum-exp结构的优化目标上进行梯度下降，实际上执行了期望最大化（EM）算法。这统一了各种学习机制，包括无监督混合模型、注意力机制和交叉熵分类，都基于单一机制。关键贡献是，关于每个距离的梯度就是负的后验责任的代数恒等式。这为理解神经网络中观察到的贝叶斯行为提供了一个新的视角，表明这源于目标函数的几何结构，而不是一种涌现的特性。
引用 / 来源
查看原文
"For any objective with log-sum-exp structure over distances or energies, the gradient with respect to each distance is exactly the negative posterior responsibility of the corresponding component: $\partial L / \partial d_j = -r_j$."
A
ArXiv2025年12月31日 10:56
* 根据版权法第32条进行合法引用。
较旧

Amazon's Machine Learning University Now Available to All Developers

较新

AI at light speed: How glass fibers could replace silicon brains

相关分析

Research Paper

SpaceTimePilot：时空控制的生成视频渲染

2026年1月3日 06:10

Research Paper

量子混沌哈密顿量演化下的随机性生成

2026年1月3日 06:10

Research Paper

GaMO：几何感知扩散用于稀疏视角3D重建

2026年1月3日 06:32

来源: ArXiv