机器算法验证 - 预处理梯度下降 - 吾爱随笔录

机器算法验证优化梯度下降

2022-03-03 01:26:53

如果使用梯度下降来优化每个分量具有不同大小的向量空间，我知道我们可以使用预处理矩阵 $P$ 以便更新步骤变为：

x_{n + 1} = x_{n} - γ_{n} P^{- 1} \nabla F (x_{n})

$x_{n+1} = x_n -\gamma_n P^{-1}\ \nabla F(x_n)$

$P$ 的明显方法是使其成为与 $x$ 的近似值成比例的对角矩阵，因此 $Px\approx \bar{1}$ 。

还有其他选择 $P$ 的建议方法吗？

其中一些方法会导致非对角矩阵吗？

1个回答

您的问题提到对角线 $P$ 为您提供了与参数相关的学习率，这就像对您的输入进行归一化一样，只是它假设您的输入具有对角线协方差。

通常，使用预处理矩阵 $P$ 等效于规范化 $x$ 。令 $x$ 的协方差为 $\Sigma = LL^T$ 那么 $\tilde{x} = L^{-1}x$ 是 $x$ 的标准化版本。

Δ \tilde{x} = \nabla_{\tilde{x}} F (x) = L^{T} \nabla_{x} F (x)

$\Delta \tilde{x} = \nabla_\tilde{x} F(x) = L^T \nabla_x F(x)$

所以

Δ x = L Δ \tilde{x} = L L^{T} \nabla_{x} F (x) = Σ \nabla_{x} F (x)

$\Delta x = L \Delta \tilde{x} = LL^{T} \nabla_{x} F(x) = \Sigma \nabla_{x} F(x)$

这样做会使您的目标（更多）在参数空间中各向同性。它与参数相关的学习率相同，只是您的轴不一定与坐标对齐。

在这张图片中，您可以看到在 $y = x$ 行上需要一个学习率，在 $y=-x$ 行上需要另一个学习率的情况如何转换解决了这个问题。 $y = x$ $y=-x$ $L = ( \sigma_1 + \sigma_3 ) \operatorname{diag}(1, \sqrt{10})$

你可以这样看待的另一种方式是牛顿方法会给你一个优化步骤：将 hessian 近似为最小值附近的常数，使您更接近牛顿方法提供的快速收敛，而无需计算 Hessian 或进行计算成本更高的近似您将在准牛顿方法中看到的 Hessian 矩阵。

x_{n + 1} = x_{n} - γ_{n} [H f |_{x_{n}}]^{- 1} \nabla f (x_{n})

$x_{n+1} = x_n - \gamma_n [Hf|_{x_n}]^{-1} \nabla f(x_n)$

P \approx H f |_{x^{⋆}}

$P \approx Hf|_{x^\star}$

请注意，对于正态分布，log-loss 的 hessian 为，这两个角度是等价的。 $H = \Sigma^{-1}$

其它你可能感兴趣的问题