生成的ベイズハイパーパラメータチューニング
分析
この論文では、交差検証と完全ベイズ法の計算上の制約に対処するために、ハイパーパラメータチューニングへの新しい生成的アプローチを紹介しています。ベイズ事後分布への最適化ベースの近似と償却技術を組み合わせることで、著者らは推定量のための「ジェネレータールックアップテーブル」を作成します。これにより、ハイパーパラメータの迅速な評価と近似ベイズ不確実性定量化が可能になります。重み付きM推定および生成的サンプラーへの接続は、理論的基盤をさらに強化します。提案された方法は、特に計算リソースが制約されているシナリオにおいて、機械学習における効率的なハイパーパラメータチューニングのための有望なソリューションを提供します。予測チューニングの目的と不確実性定量化の両方を処理できるこのアプローチは、この分野への貴重な貢献となります。
重要ポイント
引用・出典
原文を見る"We develop a generative perspective on hyper-parameter tuning that combines two ideas: (i) optimization-based approximations to Bayesian posteriors via randomized, weighted objectives (weighted Bayesian bootstrap), and (ii) amortization of repeated optimization across many hyper-parameter settings by learning a transport map from hyper-parameters (including random weights) to the corresponding optimizer."