贝叶斯有效维度：互信息视角

本文介绍了贝叶斯有效维度，这是一个用于理解高维贝叶斯推断中降维的新概念。它使用互信息来量化参数空间中统计上可学习的方向的数量，为收缩先验、正则化和近似贝叶斯方法提供了一个统一的视角。本文的意义在于提供了一种形式化、定量的有效维度度量，超越了稀疏性和内在维度等非正式概念。这使得我们能够更好地理解这些方法的工作原理以及它们如何影响不确定性量化。