距離ベースのニューラルモデルにおける勾配降下法としての暗黙的EM
Research Paper#Neural Networks, Optimization, Bayesian Inference🔬 Research|分析: 2026年1月3日 06:26•
公開: 2025年12月31日 10:56
•1分で読める
•ArXiv分析
本論文は、距離またはエネルギーに関するlog-sum-exp構造を持つ目的関数に対する勾配降下が、暗黙的に期待値最大化（EM）を実行することを示す直接的な数学的導出を提供します。これは、教師なし混合モデル、注意メカニズム、交差エントロピー分類など、さまざまな学習体制を単一のメカニズムの下に統合します。重要な貢献は、各距離に関する勾配が負の事後責任であるという代数的な恒等式です。これは、ニューラルネットワークで観察されるベイジアン的振る舞いを理解するための新しい視点を提供し、それが創発的な特性ではなく、目的関数の幾何学的構造の結果であることを示唆しています。