分析
这篇文章介绍了黑盒优化算法，作为随机梯度下降的替代方案，用于优化深度学习模型。它强调了目标函数的解析形式未知，使得基于梯度的方法不可行的情况。文章提到了模拟退火、爬山法和Nelder-Mead方法等例子，提供了对该主题的基本概述。
引用 / 来源
查看原文"Stochastic gradient descent is a universal choice for optimizing deep learning models. However, it is not the only option. With black-box optimization algorithms, you can evaluate a target function $f(x): \mathbb{R}^n \to \mathbb{R}$, even when you don’t know the precise analytic form of $f(x)$ and thus cannot compute gradients or the Hessian matrix."