改进的评分函数估计和Hessian估计

发布:2025年12月30日 17:39
1分で読める
ArXiv

分析

本文研究了估计数据分布的评分函数(对数密度的梯度)的方法,这对于扩散模型等生成模型至关重要。它结合了隐式评分匹配和去噪评分匹配,证明了改进的收敛速度,并且能够在不受维度灾难影响的情况下估计对数密度 Hessian(二阶导数)。这很重要,因为准确的评分函数估计对于生成模型的性能至关重要,而有效的 Hessian 估计支持了这些模型中使用的基于 ODE 的采样器的收敛。

引用

本文表明,隐式评分匹配实现了与去噪评分匹配相同的收敛速度,并且允许在没有维度灾难的情况下进行 Hessian 估计。