大規模ニューラルネットワークモデルに対する勾配ベース最適化

本論文は、ニューラルネットワークを代理関数として使用した非線形目的関数の最適化における計算上の課題、特に大規模モデルに対する課題に取り組んでいます。実用的な時間制限内で良好な解を見つけるために不可欠な局所探索法の効率を向上させることに焦点を当てています。主な貢献は、反復ごとのコストを削減した勾配ベースのアルゴリズムを開発し、ReLUネットワーク向けにさらに最適化することにあります。論文の重要性は、モデルサイズが大きくなるにつれて、既存の局所探索法と比較して競争力があり、最終的には優位性を示すことによって強調されています。

• •ニューラルネットワーク代理関数用の新しい勾配ベースの最適化アルゴリズムを提案。
• •アルゴリズムは、反復ごとのコストを低くするように設計されています。
• •このアルゴリズムは、ReLUネットワークの構造を利用するように特別に調整されています。
• •モデルサイズが大きくなるにつれて、他の局所探索法と比較して、この方法のパフォーマンスが向上します。