机器算法验证 - “香草”是什么意思？ - 吾爱随笔录 - 问答

“香草”是什么意思？

机器算法验证机器学习优化术语梯度下降

2022-02-04 06:22:40

在机器学习博客中，我经常遇到“香草”这个词。例如，“香草梯度下降”或“香草方法”。这个术语在任何优化教科书中都从未出现过。

例如，在这篇文章中，它说：

这是梯度下降技术的最简单形式。在这里，香草意味着纯净/没有任何掺假。它的主要特点是我们通过代价函数的梯度在最小值的方向上迈出一小步。

请告诉我，在这种情况下，“掺假”是什么意思？作者进一步对比了普通梯度下降与带动量的梯度下降。所以在这种情况下，香草梯度下降是梯度下降的另一个词。

在另一篇文章中，它说，

香草梯度下降，又名批量梯度下降，...

可悲的是，我也从未听说过批量梯度下降。好家伙。

有人可以澄清“香草”的含义吗？是否有更严格的数学定义？

1个回答

Vanilla 表示某物的标准、通常或未经修改的版本。香草梯度下降是指没有任何花里胡哨的基本梯度下降算法。

梯度下降有很多变体。在通常的梯度下降（也称为批量梯度下降或普通梯度下降）中，梯度被计算为每个数据点的梯度的平均值。

\nabla f = \frac{1}{n} \sum_{i} \nabla loss (x_{i})

$\nabla f = \frac{1}{n}\sum_i \nabla \text{loss}(x_i)$

在批量大小为 1 的随机梯度下降中，我们可以将梯度估计为

\nabla f \approx \nabla loss (x^{*})

$\nabla f \approx \nabla \text{loss}(x^*)$ ，其中是从我们的整个数据集中随机采样的。它是正常梯度下降的一种变体，所以它不会是普通梯度下降。然而，由于即使是随机梯度下降也有许多变体，当将其与其他更高级的 SGD 替代方案（例如，具有动量的 SGD）进行比较时，您可以将其称为“普通随机梯度下降”。

x^{*}

$x^*$

其它你可能感兴趣的问题

上一篇如何解释平滑 l1 损失？下一篇你怎么看马尔可夫链是不可约的？