功能梯度下降

函数梯度下降-第1部分和第2部分将给出简要介绍和理论说明。Llew Mason、Jonathan Baxter、Peter Bartlett 和 Marcus Frean 在 2000 年的 NIPS 出版物 Boosting Algorithms as Gradient Descent 中介绍了功能梯度下降。

我们都熟悉线性函数的梯度下降$f(x) = w^Tx$. 一旦我们定义了损失$L$, 梯度下降执行以下更新步骤 ($η$是一个称为学习率的参数。

$w \rightarrow w - \eta \nabla L(w)$

我们在权重空间中移动。损失的一个例子$L$是：

$L(w) = \sum_{i=1}^n(y_i - w^Tx_i)^2 + \lambda\lVert w \rVert ^2$

其中第一项（项）衡量与的接近程度，而第二项（“正则化”项）说明了学习函数的“复杂性” 。$‘L2’$$f(x)$$y$$f$

假设我们想将扩展到线性函数之外。我们希望最小化以下内容：$L$$f$

$L(f) = \sum_{i=1}^n(y_i - f(x_i))^2 + \lambda\lVert f \rVert ^2$

其中再次用作正则化术语，我们有以下形式的更新：$\lVert f \rVert ^2$

$f \rightarrow f - \eta \nabla L(f)$

我们在函数空间中移动，而不是权重！

事实证明，这是完全可能的！并以函数空间中的“功能”梯度下降或梯度下降的名称命名。

通常，您可以通过多种方式对任何函数进行参数化，每种参数化都会在梯度下降中产生不同的步骤（以及每一步的不同函数）。

优点是一些参数化时非凸的损失函数在函数空间中可以是凸的：这意味着当“普通”梯度下降可能卡在局部最小值或鞍点时，函数梯度下降实际上可以收敛到全局最小值.

插图示例

代码

更多

• 为什么函数梯度下降很有用，
• 进行功能梯度下降意味着什么，以及，
• 我们如何做函数梯度下降，举个例子。

访问