生成式贝叶斯超参数调整
分析
本文介绍了一种新颖的生成式超参数调整方法，旨在解决交叉验证和完全贝叶斯方法的计算限制。通过将基于优化的贝叶斯后验近似与摊销技术相结合，作者为估计器创建了一个“生成器查找表”。这允许快速评估超参数和近似贝叶斯不确定性量化。与加权M估计和生成式采样器的连接进一步加强了理论基础。所提出的方法为机器学习中高效的超参数调整提供了一个有希望的解决方案，尤其是在计算资源受限的情况下。该方法处理预测调整目标和不确定性量化的能力使其成为该领域的宝贵贡献。
引用 / 来源
查看原文"We develop a generative perspective on hyper-parameter tuning that combines two ideas: (i) optimization-based approximations to Bayesian posteriors via randomized, weighted objectives (weighted Bayesian bootstrap), and (ii) amortization of repeated optimization across many hyper-parameter settings by learning a transport map from hyper-parameters (including random weights) to the corresponding optimizer."