分析
本文介绍了一种新颖的生成式超参数调整方法，旨在解决交叉验证和完全贝叶斯方法的计算限制。通过将基于优化的贝叶斯后验近似与摊销技术相结合，作者为估计器创建了一个“生成器查找表”。这允许快速评估超参数和近似贝叶斯不确定性量化。与加权M估计和生成式采样器的连接进一步加强了理论基础。所提出的方法为机器学习中高效的超参数调整提供了一个有希望的解决方案，尤其是在计算资源受限的情况下。该方法处理预测调整目标和不确定性量化的能力使其成为该领域的宝贵贡献。
引用
“我们开发了一种超参数调整的生成视角，它结合了两个想法：（i）通过随机加权目标（加权贝叶斯引导）对贝叶斯后验进行基于优化的近似，以及（ii）通过学习从超参数（包括随机权重）到相应优化器的传输映射，来分摊许多超参数设置中的重复优化。”