生成的ベイズハイパーパラメータチューニング
分析
この論文では、交差検証と完全ベイズ法の計算上の制約に対処するために、ハイパーパラメータチューニングへの新しい生成的アプローチを紹介しています。ベイズ事後分布への最適化ベースの近似と償却技術を組み合わせることで、著者らは推定量のための「ジェネレータールックアップテーブル」を作成します。これにより、ハイパーパラメータの迅速な評価と近似ベイズ不確実性定量化が可能になります。重み付きM推定および生成的サンプラーへの接続は、理論的基盤をさらに強化します。提案された方法は、特に計算リソースが制約されているシナリオにおいて、機械学習における効率的なハイパーパラメータチューニングのための有望なソリューションを提供します。予測チューニングの目的と不確実性定量化の両方を処理できるこのアプローチは、この分野への貴重な貢献となります。
重要ポイント
参照
“ハイパーパラメータチューニングに対する生成的視点を開発し、次の2つのアイデアを組み合わせます。(i)ランダム化された重み付き目的(重み付きベイズブートストラップ)によるベイズ事後分布への最適化ベースの近似、および(ii)ハイパーパラメータ(ランダムな重みを含む)から対応するオプティマイザーへの輸送マップを学習することにより、多くのハイパーパラメータ設定にわたる反復最適化の償却。”